株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、人工知能技術の研究開発組織「AI Lab」におけるリサーチインターンシップ参加者のRuo-Chun Tzeng氏※1およびPo-An Wang氏※2ならびに研究員の阿部拳之、陣内佑、Undral Byambadalaiらによる論文5本が、機械学習分野の国際会議「ICML 2024」※3 の本会議に採択されたことをお知らせいたします。
「ICML」は世界中の研究者によって毎年開催される国際会議で、「NeurIPS」※4 と並び、機械学習・深層学習・最適化等の分野において権威のある会議の1つです。本年度は「AI Lab」としては過去最多となる5本の論文が採択されました。
このたび採択された論文は、2024年7月にオーストリア・ウィーンで開催される「ICML 2024」にて発表を行います。
「ICML」は世界中の研究者によって毎年開催される国際会議で、「NeurIPS」※4 と並び、機械学習・深層学習・最適化等の分野において権威のある会議の1つです。本年度は「AI Lab」としては過去最多となる5本の論文が採択されました。
このたび採択された論文は、2024年7月にオーストリア・ウィーンで開催される「ICML 2024」にて発表を行います。
■採択された5本の論文について
「AI Lab」では、様々な技術課題に対して、大学・学術機関との産学連携を強化しながら幅広いAI技術の研究・開発に注力しています。
特に、インターネット広告でユーザーに合わせた広告テキストを提示する技術の開発や、最適な意思決定を可能にするために効果検証の精度を向上させる技術の開発など、実際のサービスでの意思決定戦略を対象とした研究に積極的に取り組んでまいりました。
今回採択された5本の論文では、これらの意思決定戦略をさらに効率よく評価・学習するための技術を確立しました。
「Matroid Semi-Bandits in Sublinear Time」
著者：Ruo-Chun Tzeng（スウェーデン王立工科大学）、大坂直人 (サイバーエージェント AI Lab)、蟻生開人 (サイバーエージェント AI Lab)
「On Universally Optimal Algorithms for A/B Testing」
著者：Po-An Wang（スウェーデン王立工科大学） 、 蟻生開人 (サイバーエージェント AI Lab)、 Alexandre Proutiere（スウェーデン王立工科大学）
「Adaptively Perturbed Mirror Descent for Learning in Games」
著者：阿部拳之 (サイバーエージェント AI Lab)、 蟻生開人 (サイバーエージェント AI Lab)、 坂本充生 (サイバーエージェント AI Lab)、岩崎敦（電気通信大学）
「Model-Based Minimum Bayes Risk Decoding for Text Generation」
著者：陣内佑、森村哲郎、本多右京、蟻生開人、阿部拳之 (サイバーエージェント AI Lab)
「Estimating Distributional Treatment Effects in Randomized Experiments: Machine Learning for Variance Reduction」
著者：Undral Byambadalai (サイバーエージェント AI Lab)、岡達志 (慶應義塾大学)、安井翔太 (サイバーエージェント AI Lab)
特に、インターネット広告でユーザーに合わせた広告テキストを提示する技術の開発や、最適な意思決定を可能にするために効果検証の精度を向上させる技術の開発など、実際のサービスでの意思決定戦略を対象とした研究に積極的に取り組んでまいりました。
今回採択された5本の論文では、これらの意思決定戦略をさらに効率よく評価・学習するための技術を確立しました。
「Matroid Semi-Bandits in Sublinear Time」
著者：Ruo-Chun Tzeng（スウェーデン王立工科大学）、大坂直人 (サイバーエージェント AI Lab)、蟻生開人 (サイバーエージェント AI Lab)
| 「多腕バンディット問題」とは、不確実な環境における最適な逐次的意思決定を目指すオンライン最適化の問題です。本研究では、マトロイドという組合せ的な構造を持つ設定において、意思決定の最適性を損なわない、選択肢数に関する劣線形時間アルゴリズムを開発しました。 ＜論文リンク＞ https://arxiv.org/abs/2405.17968 |
「On Universally Optimal Algorithms for A/B Testing」
著者：Po-An Wang（スウェーデン王立工科大学） 、 蟻生開人 (サイバーエージェント AI Lab)、 Alexandre Proutiere（スウェーデン王立工科大学）
| A/Bテストのデータを活用して、各施策への観測割り当て量を適応的に調整するという考え方が存在します。これまでの研究では、このような適応的な割り当ての効果は明らかになっていませんでした。本研究では、特定の状況での適応的な割り当てがA/Bテストのパフォーマンスを向上させないことを、理論と実験の両面から示しました。これにより、A/Bテストの設計に関する新たな指針がビジネスの現場に示されました。 ＜論文リンク＞ https://arxiv.org/abs/2308.12000 |
「Adaptively Perturbed Mirror Descent for Learning in Games」
著者：阿部拳之 (サイバーエージェント AI Lab)、 蟻生開人 (サイバーエージェント AI Lab)、 坂本充生 (サイバーエージェント AI Lab)、岩崎敦（電気通信大学）
| 敵対的生成ネットワークや大規模言語モデルの学習をはじめとした多くの機械学習タスクでは、複数の意思決定モデルを同時に学習することが求められます。これら複数のモデルを同時に学習させる問題は「マルチエージェント環境での学習」として知られ、単一のモデルの学習と比較して、さまざまな研究上の課題が存在します。本研究では、各意思決定モデルの更新方向を特定の方向にシフトさせることで、学習の安定化を実現する新たなアルゴリズムを提案しました。さらに、シフトする方向を適応的に調整することで、最適な意思決定モデルへの収束を理論的な分析と実験の両方から示しました。 ＜論文リンク＞ https://arxiv.org/abs/2305.16610 |
「Model-Based Minimum Bayes Risk Decoding for Text Generation」
著者：陣内佑、森村哲郎、本多右京、蟻生開人、阿部拳之 (サイバーエージェント AI Lab)
|
Minimum Bayes Risk Decodingは、テキスト生成モデルから品質の高いテキストを生成する手法です。2000年の論文で提案された手法でしたが2022年に改良され、機械翻訳において非常に有効であることが知られるようになり、近年活発に研究がなされています。本研究ではその2000年の論文のアイディアを最新の手法に組み合わせて更に品質の高いテキストを生成する手法を開発しました。 |
「Estimating Distributional Treatment Effects in Randomized Experiments: Machine Learning for Variance Reduction」
著者：Undral Byambadalai (サイバーエージェント AI Lab)、岡達志 (慶應義塾大学)、安井翔太 (サイバーエージェント AI Lab)
|
ビジネスでは施策の効果検証が重要ですが、因果推論や計量経済学を用いる効果検証では平均的な効果が推定されることがほとんどです。本研究では、効果の分布を表すDistributional Treatment Effectに着目し、A/Bテストが行われる状況で利用可能な推定手法を提案しました。提案手法は従来の手法に対して約20%精度が改善されました。 |
■今後
これらの研究の成果は、広告テキストの自動生成、施策効果の検証、そしてビジネスにおける意思決定の改善に活用され、当社が運営する「極予測AI」やリテールメディアにおける広告商品、動画ストリーミングプラットフォーム等への導入を目指しております。
「AI Lab」は今後もビジネス・社会課題の解決に向けたAI技術をプロダクトに取り入れるとともに、技術発展と学術発展に貢献するべく、研究・開発に努めてまいります。
「AI Lab」は今後もビジネス・社会課題の解決に向けたAI技術をプロダクトに取り入れるとともに、技術発展と学術発展に貢献するべく、研究・開発に努めてまいります。
■ご案内
ICML2024 AI Lab 著者発表会について (オンライン開催)
サイバーエージェント AI Labでは、Counterfactual Machine Learningと呼ばれる因果推論の知識を機械学習に応用する手法の研究開発の発展を目的に、CFML勉強会を定期的に開催しています。2024年7月10日(水)には、上記で紹介した論文について著者本人が解説する著者発表会を実施します。
現在Connpassで登録受付を行っておりますので、お時間ある方はぜひご参加ください。
サイバーエージェント AI Labでは、Counterfactual Machine Learningと呼ばれる因果推論の知識を機械学習に応用する手法の研究開発の発展を目的に、CFML勉強会を定期的に開催しています。2024年7月10日(水)には、上記で紹介した論文について著者本人が解説する著者発表会を実施します。
現在Connpassで登録受付を行っておりますので、お時間ある方はぜひご参加ください。
※1：スウェーデン王立工科大学所属・2023/06/01より リサーチインターンシップに参加
※2：スウェーデン王立工科大学所属・2023/06/01より リサーチインターンシップに参加
※3：「ICML」International Conference on Machine Learning
※4：「NeurIPS」Neural Information Processing Systems