「AAAI」は、世界中の様々な人工知能分野の研究者が一堂に集い毎年開催される国際会議で、「NeurIPS」「ICML」「KDD」※2などと並んで、人工知能分野で権威ある国際会議の一つです。「AAAI」には過去2年、「AI Lab」の研究員による論文が本会議およびワークショップにて採択されており※3、今回で3年連続の採択となります。本論文は、2021年2月にオンラインで開催される「AAAI 2021」で発表いたします。
「AI Lab」ではマーケティング全般に関わる幅広いAI技術を研究・開発しており、大学・学術機関との産学連携を強化しながら様々な技術課題に取組んでいます。近年多くのウェブサービスにて機械学習が用いられており、例えばインターネット広告ではユーザーのアクセスごとにユーザー属性に適した広告を選択・配信するための「機械学習モデルの学習」が日々行なわれています。そしてサービス品質向上に繋げるには、機械学習モデルの予測性能を保つために、常に新しいデータを用いて学習を繰り返すことが重要です。
■研究背景：予測性能の最大化に繋がる、ハイパーパラメーター最適化
機械学習モデルには、分析者が事前に設定・チューニングする「ハイパーパラメーター」と呼ばれるパラメーターが存在します。実際に機械学習を実サービスに導入する際、ハイパーパラメーターの設定は予測性能の最大化に繋がるため、日々新しいデータを用いて学習を繰り返すと同時に、その都度より適切なハイパーパラメーターの設定をすることが必要とされます。
しかし、あるハイパーパラメーターを設定した際の機械学習の予測性能は、機械学習モデルの学習が完了するまで分かりません。例えばディープラーニングのような複雑な機械学習モデルの場合、予測性能が判明するまでに大きな計算コストが必要です。また、大量のハイパーパラメーターの組み合わせを試し、その中で最も予測性能が高いものを選択するような方法は膨大な時間が必要となり、実行が現実的ではないといった課題がありました。「少ない計算コストで、適切なハイパーパラメーターを効率的に選択すること」が極めて重要です。
このような課題から、当社では「AI Lab」において「HPO team(Hyperparameter Optimization team)」を発足し、専門的にこの領域に関する研究に取組んでまいりました。NeurIPS Meta-Learning WorkshopやICML AutoML Workshopでの発表※4、Preferred Networks社との合同チームにおいて機械学習分野の国際学会で併設されたコンペティション「NeurIPS 2020 Black-Box Optimization Challenge」で世界5位に入賞※5するなど、積極的な活動を行っております。
■論文研究の概要
このような背景のもと、今回採択された共著論文「Warm Starting CMA-ES for Hyperparameter Optimization」※6では、以前に設定したハイパーパラメーターによる予測性能の結果を利用した、効率的なハイパーパラメーター最適化手法を提案しました。具体的には、以前の最適化結果から有望なハイパーパラメーターの範囲を推定し、予測性能の良いハイパーパラメーターを高速に探索します。これにより、従来のハイパーパラメーター最適化の手法と比較して、本論文にて提案した手法であれば計算に必要な時間的・金銭的コストを削減することが可能です。
■今後
今回の提案は、当社で提供している広告配信プロダクトをはじめとした、機械学習を利用している様々なプロダクトに導入を予定しており、予測性能の向上によって企業のマーケティング支援にさらなる貢献が期待されます。「AI Lab」は今後もビジネス課題の解決に向けたAI技術をプロダクトに取り入れるとともに、OSS活動※7などを通した技術発展と学術発展に貢献するべく、研究・開発に努めてまいります。
※1「AAAI」Association for the Advancement of Artificial Intelligence
※2「NeurIPS」 Neural Information Processing Systems
「ICML」International Conference on Machine Learning
「KDD」International Conference on Knowledge Discovery and Data Mining
※3 AI Lab、Yale大学・成田氏との共著論文「Efficient Counterfactual Learning from Bandit Feedback」が 人工知能分野の国際会議「AAAI」にて採択
「AAAI 2020」にサイバーエージェントより3名がポスター発表で参加
※4 Workshop on Meta-Learning (MetaLearn 2019)
7th ICML Workshop on Automated Machine Learning (AutoML)
※5【AI Lab x PFN】ハイパーパラメータ最適化アルゴリズムの国際コンペで世界5位に入賞、「NeurIPS 2020」の併設コンペティションにて発表します。
※6 Masahiro Nomura, Shuhei Watanabe, Youhei Akimoto, Yoshihiko Ozaki, Masaki Onishi. “Warm Starting CMA-ES for Hyperparameter Optimization”, AAAI. 2021.
※7 OSS(Open-source software)を開発することに関わる活動のこと