継続的な機械学習モデルの改善を可能にする
HPO

機械学習モデルの精度はハイパーパラメータの設定によって大きく変化する事が知られています。より効率的に優れた性能を導き出すためには、最適化手法およびソフトウェア実装の改善が重要となります。
HPOチームでは、広告システムを支える機械学習モデルの性能を最大限引き出すための研究開発をしています。

① CMA-ESによるハイパーパラメータ最適化の転移学習
関連タスクを用いてより高速なハイパーパラメータ最適化を可能にするCMA-ESのWarm Start手法を提案しました。

【関連リンク】

・Warm Starting CMA-ES for Hyperparameter Optimization (AAAI 2021)

・AI Lab、人工知能分野のトップカンファレンス「AAAI 2021」にて共著論文採択　ー 事前情報を活用した効率的なハイパーパラメーター最適化手法を提案 ー

② ラベル無しデータに対するハイパーパラメータ最適化
ハイパーパラメータ最適化では、検証スコアを計算するためにラベル付きデータが必要です。
この研究では、複数の関連タスクを用いることで、ラベル無しデータでもハイパーパラメータ最適化を可能にする手法を提案しました。

【関連リンク】

・https://arxiv.org/abs/2006.10600

③ 実用的なハイパーパラメータ最適化ソフトウェアの開発

最新のハイパーパラメータ最適化技術の実用化に向けて、OSS開発(CMA-ES, Optuna, Kubeflow/Katib)や国際コンペティションへの参加などの活動に取り組んでいます。

【関連リンク】

・GitHub: CyberAgent/cmaes – Lightweight CMA Evolution Strategy implementation for Python.

・【AI Lab x PFN】ハイパーパラメータ最適化アルゴリズムの国際コンペで世界5位に入賞、「NeurIPS 2020」の併設コンペティションにて発表します。