「生成AI × サイバーエージェント」の基盤を支えるプライベートクラウドエンジニア

Profile

• 

  漆田 瑞樹 (グループIT推進本部 CIU, Software Engineer)
  2018 年新卒入社。グループ IT 推進本部 CIU 所属。入社当初はプライベートクラウドの開発・運用を経験。現在はそのクラウドを生かした社内サービスとして Kubernetes + Kubeflow を用いた機械学習基盤、Kubernetes のマネージドサービスの開発に従事。また、2021 年から開発と並行して機械学習基盤のプロダクトマネージャーも務める。

• 

  高橋 大輔 (グループIT推進本部 CIU, Solution Architect)
  2019 年新卒入社。グループ IT 推進本部 CIU 所属。主にプライベートなOpenStackプラットフォームとKubernetes-as-a-Serviceの開発、およびさまざまなアクセラレータデバイス提供における全ての工程を担当。 GPUaaS / AIプラットフォームの基盤となる物理インフラを構築する。

事業の成長に特化したプライベートクラウド環境を作りたい

── お二人のエンジニアとしてのバックグランドを教えてください

漆田：我々はCIU(CyberAgent group Infrastructure Unit)と呼ばれるサイバーエージェントグループ全体のインフラを支える組織に所属しています。

主に、プライベートクラウドである「Cycloud」を運用していて、IaaSとしてのOpenStackやKaaSであるAKEなど様々なサービスを提供しています。パブリッククラウドを利用している事業部のサポートや、動画配信を始めとするスタジオインフラも担当しており、強みであるインフラを主軸に幅広い活動をしています。

高橋：サイバーエージェントは15年以上にわたり社内でデータセンターを運用してきた歴史があり、CIUではハードからソフトウェアまで幅広く対応可能な人材が集まっているのが特徴です。特に最近は、生成AIやセキュリティやコストの面で、プライベートクラウドの注目も高まっているので、事業側からの問い合わせやニーズも増えています。

CIUでは、GPUサーバに関する最先端の機材を調達から導入まで、低コストかつスピード感を持って導入しやすいという側面があります。生成AIや3DCGで活用されるレンダリング環境にも、CIUが構築したGPUサーバが使われています。

また、単にGPUサーバーを提供するだけでなく、 MLパイプラインを構築するためにパブリッククラウドのAI Platform互換のサービス開発をしたりなど、パブリッククラウドの理解や、開発言語やコンテナに精通したエンジニアがいるのがCIUならではの特徴と言えます。
 

「NVIDIA DGX H100」を国内初導入

── お二人が関わったプロジェクトで、特に印象的だったり裁量権をもってとりくめたプロジェクトを教えてください。

漆田：サイバーエージェントでは今年の1月、AI事業の根幹である機械学習モデルの大規模化を躍進させる技術への積極投資として、「NVIDIA DGX H100」を国内で初めて導入し、80基の「NVIDIA H100 Tensor コア GPU」を活用したAI開発環境の大幅強化を図ることを発表しました。

設備投資やプロジェクト期間としても大規模で、自分にとっても忘れられないプロジェクトです。

「NVIDIA H100 GPU」を導入する事により、「極予測AI」などで活用されるAIと機械学習モデルにおける計算リソースが強化され、画像・テキストの自動生成能力が向上します。これにより、AIと機械学習を活用したサービスが一層高度化し、多様な表現や精度の向上を実現することができます。(※)

今から約2年前にAI事業本部 AI Labの石上 亮介を中心に、ファウンデーションモデル（現CyberAgentLM）の基盤モデル開発プロジェクトが始まりました。CIUでは、2022年いっぱいをハードウェア面の設計に費やし、2023年からソフトウェア開発に集中しました。2023年5月にリリースを迎えましたが、さらなるバージョンアップのため現在も開発は続いています。

※ 極予測AI、大規模言語モデルを活用した広告コピー自動生成機能を実装 ―自社LLM技術およびChatGPTの活用により画像やターゲットを考慮した生成が可能に

── このプロジェクトにおける二人の役割を教えてください

漆田：私は機械学習基盤を構築するためのソフトウェア開発を担当しました。NVIDIA H100向けGPUクラスタ(GPUaaS)のネットワーク構築と、分散学習ジョブ実行のための新サービスである「Distributed」を開発しました。「Distributed」はGPUaaSで実行される分散学習ジョブ実行サービスで、パブリッククラウドでのGPU運用と比べ大幅なコストダウンを実現できました。

高橋：私はハードウェア面の設計を担当しました。基盤モデル開発に関してハードウェアの要件を策定し、協業先であり「NVIDIA H100 GPU」を開発したNVIDIA様や、ベンダー各社と協力して、機器構成やコストなどを検討し設計しました。

LLMの演算処理は膨大で、1台の計算機での実行を仮定すると、数年かかっても演算が終わらないケースもあります。そこで計算機を並列化する事で、数日から数週間で演算処理を実行するのがセオリーです。並列計算を行う際には、各計算機が進捗状況や計算結果を共有し同期する必要があります。そのため、より効率的な並列化を考慮したネットワーク設計をする必要があります。
 

技術的好奇心が「生成AI × サイバーエージェント」の基盤を支える

── このプロジェクトでチーム開発する際に重視していた事は何ですか？

漆田：チームとして「サイバーエージェントが取り組む AI 開発のパフォーマンスを最大化する」という目標を持っていて、高橋がハードウェア、私がソフトウェアなど、得意分野で役割を決めながらも、チーム全体では職種の垣根を作らないように心がけていたのが特徴です。

理由として、高性能なハードウェアである「NVIDIA DGX H100」の性能を最大限に活かすには、ソフトウェア担当者もハードウェアの特性や仕様を理解する必要があるからです。同様にハードウェア担当者も、MLエンジニアが使用しているLLMやフレームワークについてどんな用途で活用し、ハードウェア側にどんなパフォーマンスを求めているのかを把握する必要がありました。

高橋：このプロジェクトでは職種や役割の相互理解が必須でしたよね。

LLMのようなマシン性能が求められる処理の場合、ハードウェアとソフトウェアの歯車のような組み合わせがかみあうと、最大パフォーマンスを発揮して効率的なデータ処理や高性能を実現できるのが特徴です。

「NVIDIA H100 GPU」に関しては、ドライバーのバージョンや機械学習フレームワークのバージョンを僅かにでも変更すると、特定のケースでマシン性能が数%低下する現象が起きていました。しかし、ドライバーのバージョンによっては、微妙な効率の違いが生じ、それが微妙に歯車の噛み合わせに合わないと、予期しない性能劣化が生じる可能性もあります。利用する側であるMLエンジニアが「昨日と今日で検証結果が微妙に異なる」と感じてしまうような結果にならないよう、常に品質基準をクリアするよう努力しています。

漆田：ドライバーの更新1つとっても、機械的に検証して更新してしまうのと、MLエンジニアがどういうパフォーマンスを求めているのかを知った上で検証して更新するので、結果は違ってきますよね。職種の垣根がない事で、チームの一体感がうまれ、そういったリスクを見逃さなくて済んだことが多々ありました。

例えるなら、F1などのモータースポーツでレースマシンを組み上げて、コンマ1秒のスピード向上を目指すメカニックチームのような感覚でしたね。

高橋：まさにそんなチームでしたよね(笑)。MLエンジニアと定期的に会話しながらやれた。まさに垣根がないチームでした。