効果を出す「AIの共同研究」
東京工業大学 奥村・高村研究室と創る自然言語処理の未来
効果を出す広告文を自動生成する「極予測TD」。そこに実装されているAI技術の精度の高さは、テキスト要約・評判分析・テキストマイニングなどの研究を行い「自然言語処理技術」を牽引する研究室として常に注目をされている東京工業大学 奥村・高村研究室との産学連携により日々向上しています。
先生方に、サイバーエージェントとの産学連携を通し見えた、企業と大学における理想の共同研究の形、広告ドメインの技術的な面白み、さらに自然言語処理の未来について聞いてみました。
Profile
-
【インタビュアー】
サイバーエージェント AILab リサーチサイエンティスト
張培楠
2018年に株式会社サイバーエージェント AI Lab に入社後、強化学習を使った広告効果を最大化する広告文の自動生成や、多様な広告文生成、生成文の人手評価など、社内の広告に関わる自然言語処理タスクに従事。同時に共同研究を通じた産学連携を推進。
自然言語処理界をリードする研究室と挑む産学連携
張:先生方の研究室は多くの共同研究を行なっています。当社とは2016年から取組みが始まりましたが、企業と共同研究をするメリットはどのような点でしょうか?
奥村:一般的には、「研究成果が世の中に出ること」が一番メリットとして大きいのではないでしょうか。また、「研究がサービスの中で活用される」だけではなく「研究内容に新規性があり、アカデミックにも評価される」その両方が同時に達成できると、価値のある共同研究になると思っています。
上垣外:研究の内容が実際に役に立つかは、実社会の中に持っていかないと分からない部分があるのですが、私たちはユーザーと接しないので、大学で得るデータだけでは研究内容の評価が難しいです。企業と一緒に共同研究を行なうことで、初めて見えるものがあると思います。
張:自然言語処理研究の第一人者である先生方と共同研究を希望する企業も多いと思います。新たに共同研究を始める上で、大事にしているポイントはありますか?
高村:まず問題設定の面白さは大前提ですね。あとは奥村先生も言われたように、社会実装だけをゴールにする共同研究ではなく、学術的にも意義がある研究テーマだと良い取り組みになると思います。さらに、企業側の技術理解度が高いとコミュニケーションが取りやすく、共同研究はうまくいきやすいなと感じています。
その点、サイバーエージェントのエンジニアの皆さんは張さんを中心に、学術的な話を対等に行うことができたので、スムーズに議論が進みました。
奥村:大学の教員としては、やはり「アカデミックな価値があり技術的に新しいもの」「オリジナルなものを作れること」が非常に重要です。一方で、企業と共同研究するときは、ある種の成果、プロダクトが出なければいけない。その2つは両方とも外せません。
ですが、同時に達成するのは難しく、企業によっては実現できないケースがあるのも事実です。その中でもサイバーエージェントとの取り組みはうまくいっていて、貴重なレアなケースだなと思っています。
張:嬉しいお言葉をありがとうございます。「事業への実用化」「アカデミックへの貢献」の2点は、僕たちも日頃意識していますので、今回それを極予測TDという広告プロダクトへの実装で実現できたことはとても嬉しく思っています。
「広告文の自動生成」共同研究の成否を分けるポイント
張:現在「広告文の自動生成」というテーマで共同研究を行っていますが、開始前に注目していた技術や、広告ならではの課題や面白さなどへ期待はありましたか?
奥村:技術的には、今はTransformerとか、それからBERTに代表されるいわゆる事前学習したモデルを使うのが性能的にもよくなってきているのが事実だと思うので、それらを活かした研究などは検討していました。
高村:流行りのニューラルネットワークは使う前提でしたが、広告なので特定の技術というよりは、「カスタマイゼーション」が大事かなと思っていました。その人に合った広告テキストを制作するという目標が明確で、自動生成が役に立つ分野なので、「広告文の生成」というテーマはこちらにとってもチャンスといいますか、やりがいのある課題でしたね。
張:僕たちとしても、大規模な事前学習モデルの広告業界での応用を試したかったので、研究として取り組めて嬉しく思っています。特に今回は、有益な研究データを用意できて良かったなと思っています。
奥村:共同研究ではデータが手に入らず、研究開発のネックになることがよくあります。ですがサイバーエージェントとのケースでは、ニューラルを使っており大量のデータが必要だったにもかかわらず、我々からすると非常にスムーズに入手してくださいました。
張:ありがとうございます。そしてデータ量の多さ故に分析の大変さもありましたよね。特に、強化学習を入れているので学習のパラメータがセンシティブで調整の難しさがありましたが、このあたりは上垣外先生が対策を講じてくださいました。
上垣外先生には、プロダクトの計画会議にも参加していただき、正直、ここまでコミットしてもらえるの!?という驚きと感激の気持ちでした。
上垣外:サイバーエージェントの皆さんが、プロジェクト成功のために緊密に連携している点が非常に新鮮だったので、ぜひ自分で見たいと合宿に参加させていただきました。
また、インターネット広告というのは非常に裾野も広い、すごく大きな市場ですよね。そこに対して自分が生成した文章が提示されるということになれば、多くの人が見るわけで、ダイレクトに研究の反応が得られるのではないかなと思いました。そういった意味でも、合宿に参加することは非常に重要な機会だなと思い、全面的に協力させてもらいました。
「企業」と「大学」共同研究における理想の形
張:「この方向性で大丈夫かな」という疑問が生じた際も、その都度、奥村先生・高村先生・上垣外先生のガイドがあったおかげで、とてもスムーズに研究が進んだなと実感しています。もしサイバーエージェントにリクエストがあればぜひ教えてください。
高村:リクエストというより感想になるのですが、サイバーエージェントには技術力がある方がたくさんいるので、すごくやりやすかったのが1つと、あとは研究開発の場と実応用の場が近いという印象がありました。生成した広告が本当にお客様が欲しい広告なのか・やったものに本当に価値があるのかという評価に関する連携が取りやすいのかなと感じています。
アカデミアと企業が一緒に研究をするのは、一般的にはいろんな問題が生じてコミュニケーションが取れないこともありますが、今回は張さんがフロントに立ってくださったこともあり、本当にうまくいったんじゃないかなと思っています。
上垣外:そうですね、「知識量に対する差があまりない」というのは大きかったと私も思います。それが非常に心地がよいと感じたのと、あと「速さ」がすごいなと思いました。技術を取り入れるのも速いし、動くのも速いしフィードバックも速い。
きっとこうしたら、こうなるだろうというものの検証というものが早期に終わるんです。実態の問題点に到達するのが非常に速くて、その問題点に対する解決策というものもきれいに決まっていくという、非常にいい流れがあると思います。ぜひこのサイバーエージェントの強みは、これからも活かしていただけるといいのではないかなと、思いました。
張:共同研究の結果、「AIで効果の出せる広告テキストを自動生成する『極予測TD』」をリリース、また論文「広告効果を報酬とした強化学習に基づく広告文の自動生成」を発表することができました。
さらに、その取り組みをIR動画「効果を出すAI - サイバーエージェントのAI研究とビジネス実装力」としても公開し、先生方にもご出演いただきました。
ここまで形にできたのも、今の研究体制だからこそ実現できたことだなとつくづく思っています。そしてこの豪華なメンバーで共同研究ができるのは、東工大の先生方の「企業や産業的な部分に対する理解」があってこそだなと思います。
奥村:大学にとっても、企業側が共同研究においてアカデミズムに対する貢献というのを意識してくださっていることは、非常に嬉しいことです。社会実装につながる研究ができるということだけじゃなくて、アカデミックにも意味のあることができるという形があるということ、最後に、いわゆる対等な立場で一緒に研究ができるという形になっているというのが、まとめるとサイバエージェントの良さなんだろうと思います。
自然言語処理の未来
張:今後はどんなことを一緒に取り組めると面白そうでしょうか。
上垣外:プロダクトの課題や今後実現したいこと議論しつつ、継続して取り組むことで、それがどんどん研究になっていくと面白そうだなと思っています。
奥村:言語処理を実際にプロダクトに実装し使っていただけるというのは非常にありがたいと思っています。言語処理技術もそれなりに使えるようになってきていると思うので、これからも使えるものを出していきたいなと思います。
張:僕自身も、すごく良いチームで今取り組みができているので、これからも、プロダクト応用とアカデミックへの貢献、両方叶えていきたいです。
最後に、先生方が「言語処理」を通して今後成し遂げたいことを聞かせてください。
上垣外:直近で思っていることは、「機械にストーリーを理解させたい」という思いがあります。今、皆さんもGoogle翻訳などを使っているように、何か文を入れたら、ほかの言語の文にすることは出来ますが、例えば、小説を丸ごと翻訳するだとか、そういったことはできないわけです。ただ人間って、長い文章を読んだ後で、何かしら得た思いを頭の中に保存しているわけじゃないですか。そういったことを同じく機械にさせることができれば、より人間に近いような処理ができるのではと考えております。そうすると、飛躍的にいろんな文章が範疇に収まっていくと思うので、自然言語処理が対処できるものの可能性の拡大ができるのでは、と考えています。
張:より人間に近い処理を目指す、というのはキーワードになってきそうですよね。
言語処理自体、長く研究分野としても存在してきて多くの人が研究していると思いますが、将来的に「分野自体がどのような方向へ向かうべきか」というお考えなどありますか?研究として、今後はもっとこうあってほしいとか。
高村:例えば言語が発話された際に、「発話された状況や場」をちゃんと取り込んでいき、ある状況下での言語理解や言語生成など、コンテキストを考えた上での言語処理に向き合っていくことが大事だと思います。
そして、状況依存での言語処理とかマルチモーダルみたいな話がある上で、やっぱりキーになるのは「コミュニケーション」かなと思っています。
AIと人間がコミュニケーションを取る上で、コンピューター側はその特性を生かして大量のデータにアクセスして、それを人間に伝えるというところがうまく言語としてコミュニケーションできるようになると面白いなと考えているところです。
奥村:かつて誰も見向きもしなかったAIの「冬の時代」を経て、言語処理も含めて世の中で使えるようになってきているという事実は嬉しいことです。言語処理の分野は、僕が研究している間だけでも、パラダイムシフトが2回も起きているんですね。
もともとルールベースだったのが昔のAIで、90年代になって機械学習や統計的な手法みたいなものが出てきて、それがこの5年とか10年でニューラルが出てきて。そういう意味での変化が、この僅か数十年の間で2回も起きました。大変は大変でしたが、非常に面白く、また大学としてもずっとここに向き合ってこれて、幸せだったなと思っています。
今後に関しては、今のニューラルをベースにした大量のデータに基づく手法というのは、多分もうすっかり根づいたと思いますし、変わらないと思うんですね。
ただこれだけじゃなくて、ルールや人間の知識みたいなものや、人間がニューラルとうまく組み合わせた形でシステムなり枠組みを作っていくような、そういう方法論というのは間違いなく必要になってきますし、そういう方向に進むだろうなと思っています。
張:先生方の研究に対する熱い気持ちに僕自身も心を打たれました。ぜひ自分も、企業研究所にいる立場を活かしながら、アカデミックと社会実装の両軸から自然言語処理の未来を先生方と一緒に切り開いていきたいと思います。
先生方、この度はありがとうございました!今後ともどうぞよろしくお願いします。
記事ランキング
-
1
サイバーエージェントの“自走する”人材育成 ー挑戦する企業文化ー
サイバーエージェントの“自走する”人材育成 ー挑戦する企業文化ー
サイバーエージェントの“自走する”人材育成 ー挑戦する企業...
-
2
Activity Understanding(行動理解)研究の挑戦 ー実世界で...
Activity Understanding(行動理解)研究の挑戦 ー実世界でのニーズに応えるAIやロボティクス技術の開発とはー
Activity Understanding(行動理解)研究...
-
3
「Abema Towers(アベマタワーズ)」へのアクセス・入館方法
「Abema Towers(アベマタワーズ)」へのアクセス・入館方法
「Abema Towers(アベマタワーズ)」へのアクセス・...
-
4
Google、LINEヤフー、TikTok…受賞実績が証明する広告効果の実力
Google、LINEヤフー、TikTok…受賞実績が証明する広告効果の実力
Google、LINEヤフー、TikTok…受賞実績が証明...
Activity Understanding(行動理解)研究の挑戦
ー実世界でのニーズに応えるAIやロボティクス技術の開発とはー
インターネット上だけでなく、私たちが生活するリアルな実世界において、AIサービスを実現するための基盤研究に取り組むAI LabのActivity Understanding(行動理解)チーム。2023年から始まった研究領域ですが、既に当社が展開するリテールメディア事業において実装が進んでいます。
多様な専門性のあるメンバーが、事業と連携し垣根を超えて生み出す新たな価値とはー?
Activity Understandingチーム立ち上げ当初から研究を行う3名のコメントを交えながら、紹介します。