プレスリリース
映像要約技術における評価指標の課題を明らかに。AI Lab、コンピュータビジョン分野の国際会議「CVPR」にて論文採択
~論文タイトル「Rethinking the Evaluation of Video Summaries」~
株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役社長：藤田晋、東証一部上場：証券コード4751）は、人工知能技術の研究開発組織「AI Lab」に所属する研究者である大谷まゆ主著の論文がCVPR2019 (Computer Vision and Pattern Recognition)に採択されたことをお知らせいたします。
「CVPR」はコンピュータビジョン分野のトップカンファレンスである「ICCV」「ECCV」(※１)と並んで、最も権威のある国際会議のひとつです。CVPRは毎年米国にて開催されており、世界中の画像認識関連技術のトップ研究者が一堂に集う、世界最大規模のコンピュータビジョンの学会です。本年度は5165件の投稿の中から1299件の論文が採択されました。今回AI Labから採択された論文は、2019年6月にカリフォルニアにて開催されるCVPR2019にて発表を行います。
■研究背景
「AI Lab」ではアドテクノロジーに関わる幅広い人工知能技術を研究開発しており、大学・機関との産学連携を強化しながら広告を取り巻く様々な技術課題に取り組んできました。デジタル広告においては動画や3DCG広告の需要も高まり、AI Labではより効果的な広告映像の制作支援や自動生成を目指し、映像の自動編集の研究を進めております。
■論文研究の説明・概要
このような取組みのもと、今回採択された論文「Rethinking the Evaluation of Video Summaries」（※2）、邦題「映像要約技術の評価指標分析」では、映像コンテンツの中から重要な一部分を切り抜き、ダイジェストを自動で生成するなどの「映像要約技術」の評価指標そのものが適切であるかを分析した結果をまとめています。映像要約研究では、「評価用のデータセットが提供する、見本映像との一致度による評価」が広く採用されています。この論文では、この評価指標が適切に機能しているかを主要なデータセットで検証した結果を報告しています。
具体的には、一般的な映像要約技術を構成する３つのアルゴリズムの一部をランダムな処理に置き換える、Randomization Testを提案しました。一般的な映像要約技術は、①時間毎に変化する重要度の推定、②短い映像に分割するセグメンテーション、③必要な映像の選択、という３つのアルゴリズムで構成されています。今回は、映像要約技術において重要とされている①と②のアルゴリズムをランダムな値に入れ替えるシンプルな実験により、評価指標の振る舞いを検証しました。
「CVPR」はコンピュータビジョン分野のトップカンファレンスである「ICCV」「ECCV」(※１)と並んで、最も権威のある国際会議のひとつです。CVPRは毎年米国にて開催されており、世界中の画像認識関連技術のトップ研究者が一堂に集う、世界最大規模のコンピュータビジョンの学会です。本年度は5165件の投稿の中から1299件の論文が採択されました。今回AI Labから採択された論文は、2019年6月にカリフォルニアにて開催されるCVPR2019にて発表を行います。
■研究背景
「AI Lab」ではアドテクノロジーに関わる幅広い人工知能技術を研究開発しており、大学・機関との産学連携を強化しながら広告を取り巻く様々な技術課題に取り組んできました。デジタル広告においては動画や3DCG広告の需要も高まり、AI Labではより効果的な広告映像の制作支援や自動生成を目指し、映像の自動編集の研究を進めております。
■論文研究の説明・概要
このような取組みのもと、今回採択された論文「Rethinking the Evaluation of Video Summaries」（※2）、邦題「映像要約技術の評価指標分析」では、映像コンテンツの中から重要な一部分を切り抜き、ダイジェストを自動で生成するなどの「映像要約技術」の評価指標そのものが適切であるかを分析した結果をまとめています。映像要約研究では、「評価用のデータセットが提供する、見本映像との一致度による評価」が広く採用されています。この論文では、この評価指標が適切に機能しているかを主要なデータセットで検証した結果を報告しています。
具体的には、一般的な映像要約技術を構成する３つのアルゴリズムの一部をランダムな処理に置き換える、Randomization Testを提案しました。一般的な映像要約技術は、①時間毎に変化する重要度の推定、②短い映像に分割するセグメンテーション、③必要な映像の選択、という３つのアルゴリズムで構成されています。今回は、映像要約技術において重要とされている①と②のアルゴリズムをランダムな値に入れ替えるシンプルな実験により、評価指標の振る舞いを検証しました。
この実験の結果、①映像の重要度推定、②映像のセグメンテーションをランダムにして生成された映像が、人間による重要度の判定に基づいて作成された手本となる要約映像の評価スコアと、同等の数値を達成可能であることを示しました。この結果は、映像要約技術における既存の評価指標そのものが、適切に機能していないことを示しています。本論文では、このような現象が起こる理由を説明しています。
この論文では、映像要約技術における既存の評価指標をシンプルな実験で検証する方法を提案しました。また、既存のデータセットを用いた分析に使用できる、他の評価指標や可視化方法を実験的に検討しています。映像要約技術は、テレビ番組のダイジェストやハイライト生成のみならず、デジタル広告の動画コンテンツ制作や店舗マーケティングなど、今後さらに映像の活用が進むことで技術の需要がより高まることが期待されます。今回の成果は、映像要約研究の基盤として、より適切な映像要約技術の評価指標を構築するための重要な要素技術です。
AILabでは今後も人工知能を用いた広告配信技術を開発プロダクトに取り入れ、品質の高い広告制作と配信技術の実現を目指し、研究・開発に努めてまいります。
この論文では、映像要約技術における既存の評価指標をシンプルな実験で検証する方法を提案しました。また、既存のデータセットを用いた分析に使用できる、他の評価指標や可視化方法を実験的に検討しています。映像要約技術は、テレビ番組のダイジェストやハイライト生成のみならず、デジタル広告の動画コンテンツ制作や店舗マーケティングなど、今後さらに映像の活用が進むことで技術の需要がより高まることが期待されます。今回の成果は、映像要約研究の基盤として、より適切な映像要約技術の評価指標を構築するための重要な要素技術です。
AILabでは今後も人工知能を用いた広告配信技術を開発プロダクトに取り入れ、品質の高い広告制作と配信技術の実現を目指し、研究・開発に努めてまいります。
※1「ICCV」International Conference on Computer Vision
「ECCV」European Conference on Computer Vision
※2 Mayu Otani, Yuta Nakashima, Esa Rahtu, Janne Heikkilä. “Rethinking the Evaluation of Video Summarization.” CVPR, 2019.
関連組織
■アドテクスタジオ
AI Labが所属する、サイバーエージェントグループのアドテクノロジー分野における各サービスの開発を行うエンジニアの横断組織です。2013年10月1日に設立し、現在では3つの子会社を包括し、約200名のエンジニアによって、RTB広告を支えるSSPやDSP、チャットボットサービスやロボットサービス事業など約20のサービスを提供しております。