もし、視聴者の「もっと胸キュンしたい!」気持ちに寄り添うレコメンドが「ABEMA」でできたら?

技術・デザイン

秋葉原ラボが挑戦する、動画コンテンツの解析

「ABEMA」ではユーザーとコンテンツをより近づけるべく、機械学習を用いたレコメンドの強化やキャスティング支援システムの開発に取り組んできました。今日はその取り組みの1つである「動画コンテンツを数値情報に変換したレコメンド」の開発を担当する2人に話を聞いてみました。

Profile

  • 上岡 将也 (カミオカ マサヤ)
    2019年新卒入社。研究開発組織「秋葉原ラボ」にてメディアサービスの動画像データ利活用を推進。具体的には、タップルにおける画像審査自動化システムの開発・運用やABEMAにおけるユーザーとコンテンツの分析、推薦アルゴリズムの改善などを行なっている。

  • 若松 浩平 (ワカマツ コウヘイ)
    2020年新卒入社。研究開発組織「秋葉原ラボ」にてメディアサービスの動画像データ利活用を推進。ABEMAのユーザーとコンテンツの分析、推薦のユーザー体験向上を目的とした動画特徴量の改善を担当。

新しい発見にあふれたレコメンドが新しいユーザー体験につながる

―「動画コンテンツから抽出した特徴量を活用したレコメンド」とは何を目的としたものですか?

上岡:これまで「ABEMA」のレコメンドは、視聴履歴をベースにした推薦アルゴリズムを採用していました。しかし視聴履歴のみを用いている限り、コールドスタート問題 (※1) であったり、視聴数は少ないけど好みに合うコンテンツがレコメンド候補に上がってこないという傾向があります。

参考:「新アイテムは行動履歴がないからレコメンドできない」モンダイを解決するには
全てのプロダクトマネージャーが知っておくべき5つの機械学習の限界と対策

これは、以前の記事でも触れられていた「パーソナライズドされているはずのトップページが、誰に対しても大体同じようなレコメンドになってしまう」現象で、秋葉原ラボとABEMAデータテクノロジーズの会議でも課題としてあがっていました。

その課題に対するアプローチとして取り組んでいるのが、以前紹介した株式会社ソケッツが提供するデータを活用したレコメンドや、私たちが現在取り組んでいる動画コンテンツから抽出した特徴量を活用したレコメンドです。

動画コンテンツの中身を解析しレコメンドに応用できれば、視聴ログが蓄積されていない最新の作品や、視聴数は少ないけど好みに合う作品なども、ユーザーに届けることができます。

このように、潜在的ニーズを開拓する新しいレコメンドの形として、ユーザー体験の向上に繋げていくのが目的です。

若松:動画コンテンツはその特性上、「タグや属性」といった言語化できる特徴だけでカテゴライズしきれないほど情報が豊富です。

例えば「ABEMA」で配信しているアニメでは、スポーツやファンタジー、SFやヒューマンドラマなど様々なジャンルがあり、視聴者は作風や絵柄やストーリーや音楽など非言語的な要素を含めて惹かれ、作品の世界観に没入していきます。

私たちは、こういった「動画コンテンツ」が本来もっている「非言語的な要素」の魅力を分析し、検索やレコメンドに活用する事を目的にしています。

― 「理想的なレコメンド」とはどういうものをイメージしていますか?

若松:例えば「ABEMA」の人気コンテンツに「恋愛リアリティーショー」というジャンルがあります。その人気番組の一つに、なかなか結婚に踏み切れない恋人同士が1週間の旅に出て、旅の終わりに"結婚"か”別れ”を決断する「さよならプロポーズ」という番組があります。内容的には「切ない」や「胸がキュンとする」が特徴と言える作品です。

理想的なレコメンドを実現するに当たって、まずユーザーがどういった視聴傾向があるかを視聴履歴を基に分析しました。すると、「さよならプロポーズ」を見ている人は、同じ恋愛リアリティショーの中でも、似た「切なくなる」傾向の作品をよく観ているという分析結果が得られました。このような「切なくなる」「胸がキュンとする」といった、非言語的な要素を基に別の作品をレコメンドできれば、ユーザーにとって価値のあるものになるのではないかという仮説をまず立てました。

作品の世界観が類似したものをレコメンドすることは可能か?

― 現在のレコメンドの精度はどのようなレベルでしょうか

上岡:アニメに関しては動画の解析結果から、作品の特徴を抽出することができています。アニメは、ほのぼのした絵柄の作品は内容もほのぼのしていて、シリアスな作品は絵柄も内容に見合ったシリアス調になる。見た目の特徴と内容に一定の相関が見られることが多いです。

自分たちも驚いたのですがアニメを解析した結果、原作漫画を発行している出版社ごとに作品をきっちり分類することができました。画風や作風、出版社ごとの特徴といった「言語化しにくい特徴」をとらえて解析できたという事例です。

若松:他にも、メジャー第2シーズン(中学・高校前半)と一番関連のあるコンテンツが、メジャー第3シーズン(高校後半)となったのはびっくりしました(笑)。当然シーズンの順序は他のメタ情報として管理しているので、実際に役に立つようなものではないのですが・・

上岡:人間がやれば一瞬でできることですよね(笑)。でもこの事例には裏があって、「メジャー」というアニメ作品の作風や、主人公たちが容姿や年齢といった見た目の情報を抽出した結果、第2シーズンに一番近いコンテンツとして第3シーズンを持ってくることに成功しました。

ー それがどのようにレコメンドの改善につながるのでしょうか

若松:このアプローチを発展させていくと、アニメ作品全体を解析して、作品の特徴や世界観をとらえることも可能となっていきます。

アニメの中でも「はじめは弱かった主人公がストーリーを追うごとに強くなっていく作品」が好きな人もいれば「平凡な生活を送っていた主人公が、ファンタジー世界にワープすると、世界で一番強いキャラクターになっていたという作品」が好きな人もいます。

そういった、作品の中にある「非言語的な」魅力に対して、類似する作品を視聴者にレコメンドとして提供することも可能になります。

上岡:例えば「ドラゴンボール」には、やがては仲間となるライバル達と闘うことで、自分も仲間も強くなっていくという世界観があります。その世界観を理解するには、作品中盤から後半にあたるフリーザ編やセル編、魔人ブウ編といった大きな流れをつかむ必要があります。

シリーズという膨大な動画シーンの解析だけでなく、出演する声優の音声データの解析も視野に入れれば、将来的には可能となるかもしれません。

ー 例えば先程の「恋愛リアリティーショー」などの実写についてはどうでしょうか

若松:実写作品に関してはハードルが高いのが正直なところです(笑)。そこで一緒に視聴される作品をレコメンドしやすくするように「特徴量の関係性を視聴履歴を用いた機械学習によって調整する」といった仕組みを導入しました。ユーザーが一緒に視聴する作品には何かしらの共通点が存在するので、それを見た目以外にも色んな角度から特徴量に組み込んでいくことでより良いレコメンドが提供できると考えています。

上岡:アニメの場合では、見た目の特徴と内容に一定の相関が見られることが多いのですが、実写の場合は構図の中心に人をとらえたシーンがほとんどです。映像の明暗を変えるという演出などはありますが、それによって作品の特徴を精緻に分析して定義するのはかなり難しいです。

そこで、私たちは動画のシーン解析などの時間軸に沿った情報の抽出にも取り組んでいます。具体的には、デートやダイアローグといった作品ごとの特徴的なシーンを検出することや、誰がどの時間に出演していたかの情報を抽出することを目指しています。

また、抽出したそれらのシーンのスコアリングも考えています。例えば先程の「さよならプロポーズ」であれば、一番盛り上がるのは「プロポーズをOKするかしないか」を決断するシーンです。どちらを選択するにしても、その結果に視聴者は一喜一憂します。

そういった視聴者が「せつなく、胸がキュンとする」という感情に訴えかける要素も含めて、作品の特徴として抽出することができれば、推薦や検索、分析に応用することはもちろんのこと、ABEMA独自の新たなユーザー体験を提供することができるはずです。
 

― 動画コンテンツから特徴量を抽出するという取り組みは、現在の動画サービスにおいてトレンドなのでしょうか。

上岡:今ちょうどトレンドになりつつある分野だと認識しています。いわゆるコンピュータビジョン(※2)の分野では、深層学習の登場により静止画像認識のあらゆる問題が解決されたと言っても過言ではないと思います。しかし一方で、画像を時間方向に並べたデータである動画の解析は発展途上の段階です。

※2:視覚的な世界を解釈および理解できるようにコンピューターをトレーニングする取り組みのこと。参考:コンピューター・ビジョン:概要と重要性


インダストリーでも、大量の動画コンテンツから機械学習を使って動画を解析し、推薦・検索に応用する取り組みは報告されています。

他にも動画コンテンツの内容に関するアノテーションを専門家が手動で付与しているサービスもあり各社それぞれの戦略で取り組んでいます。

若松:そんな中で我々はソケッツ社との協業でアノテーションも行なっていますが、動画コンテンツが増え続けるにつれ、それだけで対応するのは難しくなっていく恐れもあります。

機械学習を使って動画コンテンツから情報を自動で抽出することと、手動でアノテーションすることを同時に進めることで、最終的にユーザーに良質なレコメンドを提供できたらと考えています。

なお取り組み始めたのは1年前で、リリースしたのは半年前です。現在はVer.1で今後も随時改善を加えていく予定です。
 

秋葉原ラボで身につく「本質を捉える」チカラ

― 秋葉原ラボで働く中で、どんな成長を実感できましたか?

上岡:手法にとらわれ過ぎずに、本質を捉える力が身につきました。

入社半年後の振り返り面談の時に、上司から「本質的な課題は何を解決したの?」と聞かれてドキッとしたことがありました。確かに思い返すと、自分では仕事をやっているつもりでもあれは作業だった、手法やそういったものの選び方にとらわれていた、と思いました。

公開されているデータセットを使い、あらかじめ決まった問題に対して、精度を出すだけという学生時代の研究スタイルに慣れてしまうと、ついついこうした罠に陥りがちです。

若松:わかります(笑)「0.01%数値が上がる最新の手法をこの問題に適用してみました」ではなくそれによって「ユーザーにどのような体験を提供できるか」を意識するようになりました。

上岡:例えば「動画コンテンツから抽出した特徴量をレコメンド向けに提供した時に解決した問題は何か?そのビジネス的な役割は? プロダクトにおける課題解決の位置付けは?」というところが整理できていれば、他のタスクでもデータから抽出した特徴量を使うことができますし、そのプロセスが再現可能な状態にあることが、組織としての資産になりますよね。

若松:そこで少し俯瞰的な視点を持って「問題の本質は何か?コアなアイデアはなんなのか?それを支える技術とプロセスはどういうものが必要なのか?」こういった部分が大事だということが、秋葉原ラボでの仕事で身につきました。

― 別のFEATUReSの記事で、秋葉原ラボのコーディネーターの松井さんも「課題の本質を見極める」と言っていましたね。

上岡:大事なのは「立ち止まって俯瞰して見る」ということなんだと思います。例えばプロダクトの現場では短期的な成果が重視されると思いますし、そこにフルコミットすることももちろん必要です。

一方で、車輪の再開発を防いだり、「その短期的な成果は本当にユーザーに届いているのか」というような部分を考えたりすることも必要で、それが秋葉原ラボに期待されている役割だと思っています。

― サイバーエージェントに興味を持っている学生にとって、秋葉原ラボで働くおすすめポイントを教えて下さい。

上岡:秋葉原ラボでは「ABEMA」や「AWA」「アメブロ」などメディアに特化した膨大なデータを横断で研究/利活用する組織です。データというビジネス資産に内定者や新卒の時から触れ、ビジネス課題にチャレンジできるのは、サイバーエージェントならではの企業カルチャーだと思います。

若松:秋葉原ラボのおもしろいところは、サイバーエージェントが打ち出す時流に即した新規事業に、データの側面から触れられる点ですね。特に「ABEMA」は正解が何もない中、他社にも類似したサービスがありません。サイバーエージェントが運営するたくさんのメディアに蓄積しているデータだからこそ浮かび上がる仮説や課題感は、学生にとっても刺激的だと思います。
 

2022年度新卒採用エンジニアコースエントリー

この記事をシェア

オフィシャルブログを見る

記事ランキング

エンジニア・クリエイター発
ダイバーシティ推進プロジェクト「CAlorful」が誕生

技術・デザイン

2021年2月、技術者版あした会議での提案がきっかけで生まれた、Diversity&Inclusionプロジェクト「CAlorful」。

サイバーエージェントのビジョン「21世紀を代表する会社を創る」を目指すうえで、一緒に働く仲間を理解し多様性を受容することは、チームで力を発揮するためにもますます重要な要素となってきます。

社員が自ら働きやすい環境をつくりだすことは、サイバーエージェントらしいカルチャーの一つ。今回は「CAlorful」がどのように生まれたのか、今後目指すことを事務局メンバーに聞きました。

Page Top