生み出したのは、世界レベルの実績。
研究/OSS開発で切り開くハイパーパラメータ最適化の未来

技術・デザイン

AI Labでハイパーパラメータ最適化に取り組むHPO(Hyperparameter Optimization)チーム。

新卒4年目のエンジニア2名で構成される少数チームでありながら、国際会議「AAAI 2021」にて論文採択、国際コンペで世界第5位に入賞、さらにOSS開発においてもOptunaコミッターやKubeflow/Katibレビュアーを務めるなど、さまざまな方面で成果を出しています。

その活躍から社内の表彰式でもベストリサーチャーやベストプロフェッショナルエンジニアを受賞している彼らに、チーム結成の経緯や取り組み、今後の展望を聞きました。

スタートしたのは、主体性から始まった新しいチーム作り

ー サイバーエージェント内でも稀有な少数精鋭の若手2人チームですが、チーム結成の経緯について教えてください。

野村:僕は入社して1年間、AI事業本部内の広告配信プロダクトでサーバーサイドエンジニアとしてデータエンジニアリング業務に携わっていました。広告配信プロダクトで求められるシビアな性能要件への挑戦を面白いと感じると同時に、当時から「研究をしたい」という強い思いがあり、入社2年目に「ハイパーパラメータ最適化」についての研究計画を提案し、研究者の道へ。AI技術の研究開発組織「AI Lab」内にHPO(Hyperparameter Optimization)チームを作ったのがはじまりです。

  野村 将寛    / AILab リサーチサイエンティスト    GitHub: @nmasahiro, Twitter: @nomuramasahir0 / 2017年新卒入社。AI Labリサーチサイエンティストとしてハイパーパラメータ最適化の研究に従事。
野村 将寛 / AILab リサーチサイエンティスト
GitHub: @nmasahiro, Twitter: @nomuramasahir0 / 2017年新卒入社。AI Labリサーチサイエンティストとしてハイパーパラメータ最適化の研究に従事。

ーなぜ、「ハイパーパラメータ最適化」に着目したのでしょうか?

野村:AI事業本部において非常に重要なタスクである「機械学習サービスの性能向上の実現」のために、効率的なハイパーパラメータ最適化が必要だと考えたからです。
現在多くのサービスで機械学習が使われています。機械学習技術には、チューニングすべきハイパーパラメータというものがあり、ハイパーパラメータの設定により機械学習モデルの性能は大きく変化するということが近年の研究で報告されています。 例えば、2019年に開催された推薦システム系の国際トップカンファレンスRecSysBest Paperでは、ハイパーパラメータをチューニングした古典的な機械学習アルゴリズムが、近年提案されている多くの深層学習ベースの手法よりも優れた性能を達成し、ハイパーパラメータ最適化の重要性が再認識されるという事例がありました。


ー自らチームを作る提案をしたのですね。新しくチームを作ることは、ハードルも高く大変だと思いますが、なぜそこまでできたのでしょう?

野村:「研究が好き」なんです。その気持ちが強いので、むしろ主体的に取り組める環境はありがたかったです。研究を開始した当初は、主に最新の研究の調査や、新たな最適化アルゴリズムの構築・論文の執筆などをしていました。しかし、最新の技術と現場で使われる技術にはギャップがあることに気が付き、より実務的に価値のある研究を行いたいと考えるようになりました。そこで、同期の芝田に声を掛けました。芝田は当時から活躍していて、技術書の翻訳や登壇を行うなどPythonについて詳しく、OSSでも成果をあげていました。芝田とであれば、研究と実用のギャップをソフトウェア的な観点から埋める活動ができると思ったのです。それが現在のHPOチーム結成のきっかけです。

ー芝田さんは声をかけられた時、どう思いましたか?

芝田:当時「ABEMA」で動画の配信システムを作っていたのですが、日々論文を読みながら知識を積み上げている研究者の仕事にも興味がありました。野村から話をもらったときはぜひ一緒に仕事をしたいなと思いましたね。
また実際に野村が感じていた研究と実用のギャップや、ソフトウェアの重要性にはとても共感しました。研究者が頑張って精度の良いアルゴリズムを考えても、実装に対応しきれず負債となるのでは意味がありません。サーバーサイドエンジニアとしてシステム開発を行ってきた自分の視点やスキルは、研究チームでも活かすことができるだろうと考え、異動を決意しました。詳細は以前のインタビューでも話しているのでそちらをご覧ください。

研究・OSS開発が「好き」という原動力が生み出した実績

  芝田 将    / AILab リサーチエンジニア   GitHub: @c-bata , Twitter: @c_bata_ / 2017年新卒入社。 CyberAgent Developer Experts 。共訳書エキスパートPythonプログラミング改訂2版。go-prompt、kube-prompt開発者。Optunaコミッター。Kubeflow/Katibレビュアー。
芝田 将 / AILab リサーチエンジニア
GitHub: @c-bata , Twitter: @c_bata_ / 2017年新卒入社。CyberAgent Developer Experts。共訳書エキスパートPythonプログラミング改訂2版。go-prompt、kube-prompt開発者。Optunaコミッター。Kubeflow/Katibレビュアー。

ーこうしてチームが結成されたのですね。現在、どのような業務を行っているのですか?

芝田:ハイパーパラメータ最適化について、より効率的なアルゴリズムの構築や、実用的に価値のあるソフトウェア開発に取り組んでいます。大まかな分担として、野村が「研究的な観点からのアプローチ」、芝田が「ソフトウェア的な観点からのアプローチ」を行っています。

ー「研究的な観点」だと直近では、国際トップカンファレンス「AAAI 2021」に論文が採択されていましたね。おめでとうございます!

野村:ありがとうございます。しっかりと研究成果を出さないとチームバリューが生まれないと思っていたので、プレッシャーもありましたが、こうして形にできて嬉しく思います。
機械学習を実サービスで利用する場合には、サービス品質向上のために常に新しいデータを用いて学習を繰り返すことが重要となりますが、本研究ではその際の最適化にかかるコストを著しく削減することを可能にしています。
また、HPOではブラックボックス最適化という枠組みが一般に用いられていますが、近年ではブラックボックス最適化よりもさらに進んだ研究があるにもかかわらず、それらの手法の利用は現状限られています。このような最先端の研究と実用的に使用される技術とのギャップを埋めるため、PyConJP 2019での登壇サーベイ論文の執筆などの活動も行っています。

ー 「ソフトウェア的な観点」からのアプローチはどのように行っているのですか?

芝田:主にハイパーパラメーター最適化のOSS(OptunaCMA-ESライブラリKubeflow/Katiboptuna-dashboard)の開発と実サービスへの導入を行っています。開発リソースが自分1人と非常に少ないなかで、十分にメンテナンスされた品質の高いソフトウェアを提供するために、既存のOSSライブラリの開発に参加しました。最初に目をつけたのがPreferred Networks社が開発・公開しているOptunaです。設計の見通しもよく、機能の多さとAPIのシンプルさもうまくバランスをとっていて、最も将来性を感じるソフトウェアでした。この2年でOptunaが世界的にも有名なソフトウェアとなってきたことからも、この判断は正解だったと思います。

ー研究もOSS開発も、何をやるべきかを自分たちで決め自走されているのですね。
芝田さんはなぜ、たった1人の開発メンバーとして複数のOSS開発を成し遂げたられたのでしょうか?


芝田:僕も「OSS開発が好き」というのが原動力ですね。
OptunaやKatibの開発を通して、自分の書いたコードが社内だけでなく世界中で使われるようになります。ユーザーや他の開発者からレビューを通して、1人では気付くことが出来なかったバグや問題の改善を行うことができ、ソフトウェアの品質向上に繋がりました。
開発の継続性も期待できるなど、多くの利益が会社にもありますし、この分野のOSS開発を第一線でリードできているという感覚もあり、それが自分にとって大きなモチベーションになっています。

全て自分たち次第。だからこそ大きなことにチャレンジしたい。

ー昨年度は国際コンペで上位入賞していましたね!こちらはどのような経緯で参加されたのですか?

芝田:社内のプロダクトが扱っている機械学習タスクに対して、より効率的な最適化手法を提案したいなと思っていました。そこでPreferred Networks社のOptuna開発チームと一緒に国際コンペ NeurIPS 2020 Black-Box Optimization Challengeに参加し、世界 第5位に入賞しました。こちらのコンペティションは、様々なハイパーパラメータ最適化問題に対して、より効率的な手法は何かを考える上で適した環境でした。この分野の有名な研究者も多く参加する中で、2人しかいない自分たちのチームが上位入賞するには、Optuna開発チームとの協力は必要不可欠だったと思います。これまでOptunaにパッチを送りディスカッションを続け、築き上げていた関係性がこういった成果につながったことも嬉しく思っています。
ハイパーパラメータ最適化に取り組んでいる国内の企業はあまり多くありません。Optuna開発チームとはこれからもいい関係性を保ち、今後もこの分野の発展のために力を合わせていけると嬉しいです。

ーまさに2人の「技術が好き」という原動力と強みが、大きな成果に結びついているのですね。

野村:我々2人のチームが、研究論文採択、OSS開発などで様々な結果を出せたのはとても嬉しいです。 
特に、AAAI 2021に採択された論文の提案手法 “Warm Starting CMA-ES” は、芝田によりOptunaへの導入が完了しており、研究とOSS開発という2人の強みを最大限活かすことができた事例となりました。AI事業本部内のプロダクトへの導入も着実に進んでおり、道のりは長かったですが、手応えを感じています。

芝田:ありがたいことに、社内の表彰式でも野村がベストリサーチャー、僕がベストエンジニアとして受賞の機会をいただきました。改めて思うのは、サイバーエージェントは「好きなこと」を実現できる環境を作り出すことができる会社であり、それを活かすかどうかは自分たち次第ということ。さらにここから大きなことにチャレンジし、活動の幅を広げていきたいです。

実用的・学術的な価値を生み出し続けるチームを目指して

ー今、勢いのあるHPOチーム。これからどんなことに挑戦したいですか?

野村:最近は既存の技術に囚われない、分野横断で取組む学際的な研究に興味があります。例えば、昨年、僕と東京工業大学の齋藤優太さんが「ICML AutoML Workshop 2020」にて発表を行った研究では、因果推論の技術をHPOに活用することで、従来では扱うことの出来なかったラベルのないデータセットに対するHPOを可能にしました。このように、分野横断的な研究により、従来では扱うことのできなかった重要な問題に対する解決策を今後も提示していきたいと考えています。
また長期的には、事業にも社会にも大きなインパクトを与える研究がしたいと考えています。研究のための研究ではなく、実用的にも学術的にも価値のある研究を生み出しつづけていきたいです。


芝田: 2年前、AI Labのなかで、論文執筆をせずにソフトウェア実装だけに取り組んでいるのは僕1人だけでした。これと決まったタスクはなく、自分で考えながら手探りで取り組んできましたが、今ではプロダクト導入の事例やPython領域のDeveloper Expertsとして横断的にサポートに入ることも増え、リサーチエンジニアという新たなポジションを確立できたと思います。
またAI Labには、事業や社会への貢献を目指す視座の高い研究者が多く、論文採択をはじめとする研究成果が次々と出てくるなかで、リサーチエンジニアの重要性はさらに増してきました。今後は、より実務的な価値をさらに生み出していけるよう、自分と同じようにソフトウェア実装をミッションに動くリサーチエンジニアチームを強化し、活動を加速させていきたいです。

この記事をシェア

公式SNSをフォロー

  • Facebook
  • Twitter
  • Instagram
  • Line

SIerから転職したエンジニアが
サイバーエージェントを選んだ理由

技術・デザイン

サイバーエージェントには、さまざまなバックグラウンドを持った社員が働いています。SIerで働いたキャリアを持ち、現在はメディア事業で活躍している大内と田中。今回は、彼らが前職からサイバーエージェントに転職した理由や、求められるスキルの違いなどについて話を聞きました。

記事ランキング

Page Top