発想と実装の 間 をつなぐメディア

MS「Video Indexer」すごすぎ。動画内の超詳細解析データを誰でも無料高速で使える時代へ

2017年5月3日にリリースされたMicrosoft Azureの新サービス“Video Indexer”。すんごいサービスなのですが、みなさん知っていますか?

動画を入力するだけで、

  • 誰が
  • どのシーンで
  • なんとしゃべっているのか

を解析してくれるサービスです。

言葉にするとあっさりですが、Azure内のさまざまなAPIを統合することにより、結構とんでもないことをやってのけています。(なのになぜかあんまり知られていない)

さらには、現在のPreview版では、web版のアプリケーションでその実力を体感できるらしい。もちろん、無料で!!

ということで、早速試してみました。

※補足
Video Breakdown は、今回のVideo Indexerの公開を持ってVideo Indexerに統合されたようです。細かな仕様に関するアナウンスもありますので、気になる方は、コチラも参照。

4ステップの簡単操作で解析完了!

使い方は非常にシンプル。

  1. Video Indexer へアクセス
  2. サインインを行うアカウントを選んで
  3. 好きな動画をアップロードする
  4. 待つこと数分

これだけです。

動画をアプリケーションにアップロードするだけで自動解析してくれるのも、もちろん便利ですが、気になるのはその解析結果。。。出てきたデータが、これまた面白かった!!

順を追って説明します。

① 言語設定
現在は、11カ国の言語に対応することができ、もちろん日本語も含まれます。
② 登場人物一覧
動画内で登場した人物のサムネイル画像が一覧で表示されます。
③ 人物情報
有名人データベースと照合した人物情報。有名人にマッチしない顔の場合は、こちらで人物情報を入力すれば、今後の解析する動画内で識別可能になります。また、この登場人物がいつからいつまで登場しているのか、個別のトレーラーに表示されるようです。
④ キーワード
動画内の重要トピックと考えられるキーワードを抽出し、一覧で表示されます。クリックすれば、そのトピックに関する動画までトレーラーを移動してくれる優れものです。
⑤ トレーラー
字幕のオンオフを始めとした、基本的な機能が備わったトレーラー。動画内の言語が英語であっても、日本語に自動翻訳してくれる。精度も高くスピーカーのちょっとしたボケまでしっかり拾う正確さ。

これらの機能を使えば、動画の中でも見たいトピックに関連するキーワードで検索をかけたり、人物を選択すれば、その人が写っている時間がわかるだけでなく、そのシーンに一瞬でたどり着けますね。

また、右サイドバーの「Transcript」のボタンを押せば、タイムライン上に動画内で話されている言葉がテキスト化されて表示されます。もちろん、気になるテキストを検索したり、テキスト自体をクリックすれば、そのシーンまでひとっ飛び!

これさえあれば、例えば、2時間もの尺の動画の中から欲しい情報を探すために、トレーラーをちょこちょこ移動させて、求めているシーンを探す手間をかける必要はもうありません。

その他にも、これらの情報を元に、Video Indexer内で動画編集までできるんだとか……!
完璧な精度を求める現場においても、編集機能を使ってチャチャッと修正もできてしまいます。至れり尽せりとは、まさにこのことですね。

気になる日本語の読み取り精度

さて、気になるのは音声認識の精度。試しに、日本語のニュースを読み込ませたところ、以下のような結果となりました。

  • アナウンサーであれば、ほぼ一言一句間違えることなく読み取れる。さすが
  • 素人さんの該当インタビューでもだいたいOK
  • 雑音が入ると若干、読み取りの精度が下がることもあるみたい

動画の撮影環境によって、若干精度の誤差が出そうですが、室内での撮影かつ、話し手の滑舌がそこまで悪くなければ、問題なく使用することができそうです。

ビジネスでは、どう生かせるの?

Video Indexerをビジネスに生かすには、 webポータルサイトを活用するパターンとAPIを活用する2つのパターンがあるようです。

Video Indexer Webアプリケーションであれば・・・

実は、これまでご紹介してきたVideo Indexerのwebアプリケーションをそのままビジネスに活用することもできます。

例えば、出力されたテキストデータを用いて、動画コンテンツの監視業務に生かしたり、、、
webアプリケーションで出力された内容を自社のwebサイトアプリケーションそのまま組み込み可能なので、オリジナルのインデックス付き動画を作成することもできるのだとか。教育系の動画コンテンツなどで、役立ちそうですね!

Azure Video Indexer APIであれば・・・

さまざまなオーディオおよびビデオのAIを一つに統合したAzure Video Indexer APIも同時に公開されています。

このAPIを活用すれば、動画を閲覧したユーザー、一人一人の動画の閲覧傾向に合わせて、よりパーソナライズされた最適な広告配信みたいなこともできるようです。動画広告のターゲティング精度が飛躍的に向上しそうですね!

まだまだ可能性を秘めているMicrosoft AzureのVideo Indexer。Preview版ということもあり、今後の動向にも目が離せません。

また、今回ご紹介したのは、ほんの一部の機能だけなので、動画コンテンツを持っている方は、ぜひ一度試してみてはいかがでしょうか。

曽我 啓仁 by
大手旅行会社や出版社などをはじめ、200を超えるwebメディアの改善を経験してきたメディアディレクター。デジマラボでは、「そもそもAIとかよくわからない」方に、その"すごさ"を体感してもらうことをモットーとして、最新情報を届けていきます。