株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、人工知能技術の研究開発組織「AI Lab」に所属する研究員の阿部拳之による主著論文が、機械学習分野の国際会議「UAI」※1 に採択されたことをお知らせいたします。なお、本論文は電気通信大学の坂本充生氏および岩崎敦准教授による共同成果となります。
「UAI」(Conference on Uncertainty in Artificial Intelligence) ※1 は世界中の研究者によって毎年開催される国際会議で、機械学習の分野において権威のある会議の1つです。このたび「AI Lab」から採択された論文は、2022年8月に開催される「UAI2022」にて発表を行うほか、その会議録である「Proceedings of Machine Learning Research」 ※2 に掲載される予定です。
■研究背景
近年インターネット広告配信をはじめとした様々なウェブサービスにおいて、敵対的生成ネットワーク（GAN）などの画像生成技術をクリエイティブの自動生成へと活用することが期待されています。
このようなGANの学習においては、「クリエイティブを生成するモデル」と「生成されたクリエイティブを識別するモデル」の２つのモデルの学習が必要となります。こうした複数のモデルを学習させる問題は「マルチエージェント環境における学習」と呼ばれ、単一のモデルを学習させる場合と比較して様々な研究課題が存在します。
当社では、この領域に対して共著論文「Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games」 ※3 を執筆し「AAMAS 2021」に論文採択されるなど、積極的な学術貢献を行ってまいりました。
■研究概要
今回採択された共著論文「Mutation-Driven Follow the Regularized Leader for Last-Iterate Convergence in Zero-Sum Games」 ※4 では、マルチエージェント環境における意思決定モデルの学習を安定化させる手法を開発し提案しました。
マルチエージェント学習において複数のモデルを学習させる場合、これらのモデルのそれぞれを独立に学習させる方法が広く用いられてきました。しかし、このような学習方法を取った場合、モデルの学習が最適なモデル（解）へと収束せず、周期的な軌道に陥ってしまう問題が発生します。
本研究では、特定の方向への学習を促進させる役割を持つ「突然変異」を加えることで、マルチエージェント環境におけるモデルの学習を安定化させる手法を提案しました。
▼「既存研究による学習手法と論文で提案した学習手法」イメージ図
「UAI」(Conference on Uncertainty in Artificial Intelligence) ※1 は世界中の研究者によって毎年開催される国際会議で、機械学習の分野において権威のある会議の1つです。このたび「AI Lab」から採択された論文は、2022年8月に開催される「UAI2022」にて発表を行うほか、その会議録である「Proceedings of Machine Learning Research」 ※2 に掲載される予定です。
■研究背景
近年インターネット広告配信をはじめとした様々なウェブサービスにおいて、敵対的生成ネットワーク（GAN）などの画像生成技術をクリエイティブの自動生成へと活用することが期待されています。
このようなGANの学習においては、「クリエイティブを生成するモデル」と「生成されたクリエイティブを識別するモデル」の２つのモデルの学習が必要となります。こうした複数のモデルを学習させる問題は「マルチエージェント環境における学習」と呼ばれ、単一のモデルを学習させる場合と比較して様々な研究課題が存在します。
当社では、この領域に対して共著論文「Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games」 ※3 を執筆し「AAMAS 2021」に論文採択されるなど、積極的な学術貢献を行ってまいりました。
■研究概要
今回採択された共著論文「Mutation-Driven Follow the Regularized Leader for Last-Iterate Convergence in Zero-Sum Games」 ※4 では、マルチエージェント環境における意思決定モデルの学習を安定化させる手法を開発し提案しました。
マルチエージェント学習において複数のモデルを学習させる場合、これらのモデルのそれぞれを独立に学習させる方法が広く用いられてきました。しかし、このような学習方法を取った場合、モデルの学習が最適なモデル（解）へと収束せず、周期的な軌道に陥ってしまう問題が発生します。
本研究では、特定の方向への学習を促進させる役割を持つ「突然変異」を加えることで、マルチエージェント環境におけるモデルの学習を安定化させる手法を提案しました。
▼「既存研究による学習手法と論文で提案した学習手法」イメージ図
これにより、学習させるモデルを最適な解の近傍へと収束させることが可能になることを理論解析によって示しました。また、本提案手法のもとでは、学習させるモデルの収束の速さが既存研究と比較して大幅に改善することも実験によって示しました。
■今後
今回提案した手法は、当社で提供する「極予測AI」や広告配信プロダクトにおける広告クリエイティブ素材の自動生成などへの貢献が期待されます。「AI Lab」は、今後もAI技術を用いた広告配信技術をプロダクトに取り入れるべく、より品質の高い広告配信技術の実現を目指し、研究・開発に努めてまいります。
※1 「UAI」
※2 「Proceedings of Machine Learning Research」
※3 Kenshi Abe, Yusuke Kaneko. “Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games”. AAMAS. 2021.
※4 Kenshi Abe, Mitsuki Sakamoto, Atsushi Iwasaki. “Mutation-Driven Follow the Regularized Leader for Last-Iterate Convergence in Zero-Sum Games”. UAI. 2022.
■今後
今回提案した手法は、当社で提供する「極予測AI」や広告配信プロダクトにおける広告クリエイティブ素材の自動生成などへの貢献が期待されます。「AI Lab」は、今後もAI技術を用いた広告配信技術をプロダクトに取り入れるべく、より品質の高い広告配信技術の実現を目指し、研究・開発に努めてまいります。
※1 「UAI」
※2 「Proceedings of Machine Learning Research」
※3 Kenshi Abe, Yusuke Kaneko. “Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games”. AAMAS. 2021.
※4 Kenshi Abe, Mitsuki Sakamoto, Atsushi Iwasaki. “Mutation-Driven Follow the Regularized Leader for Last-Iterate Convergence in Zero-Sum Games”. UAI. 2022.