日本の生成AIの発展まで目指す
サイバーエージェントがLLM開発に踏み込む理由

ーLLM開発は今から1年半前と、かなり早いタイミングでスタートしたと聞きました。当時なぜ開発を始めたのでしょうか

毛利：サイバーエージェントでは、2017年からAIクリエイティブの部署を立ち上げ、AIを活用した効果の高い広告クリエイティブ制作に取り組んできました。実際にこれまで、効果予測AIで広告効果を最大化する「極予測AI」や検索連動型広告の効果を改善する「極予測TD」、さらにランディングページを予測・制作し運用する「極予測LP」など多くのサービスを提供しています。 今回LLM開発の発起人となった機械学習エンジニアの石上と極予測LP開発責任者の玉津は、このAIクリエイティブ領域のサービス開発に携わっていたメンバーです。

石上： 極予測シリーズで用いられているAI技術の1つに、効果の高い広告のキャッチコピーを自動生成するAIがありますが、この精度向上に当時話題になっていたLLMが活きると考えました。LLMに関してモデルの大きさと学習データ量を増やすことで性能が上がることが分かってきており^※、その方針で開発がスタートしました。

^{※OpenAIがに公開した論文『Scaling Laws for Neural Language Models』2020年1月 公開}

ーLLM開発をすること自体、とても難易度が高いように思えますが、必要な開発アセットは何でしたか

石上：大量のデータを扱うLLM開発ができるエンジニアや研究者が必要なのはもちろんのこと、計算リソース（GPUと呼ばれるマシンが一般的）の確保も大事でした。

開発を行なっていたのは、私や玉津などAIクリエイティブ領域に所属するエンジニア数名が中心となっていましたが、研究開発組織「AI Lab」のNLPチームと日本語データに関する連携も行なっていました。

さらにモデルに学習をさせるための計算リソースの準備も必須。LLMを開発する上で、この計算リソースが多ければ多いほどより早く学習が終わります。
日本に最先端GPU自体を仕入れること自体のハードルが高い中で、NVIDIAと業務提携をしていることで最新のGPUであるNVIDIA H100を導入することができたのも大きかったです。ここは社内の専門インフラ組織「CIU」と密な連携をとりながら実現をしました。

ー今年5月、130億パラメータのLLM開発を発表。さらにその翌週には68億パラメータのモデル自体を公開しました。多くの反響がありましたが、なぜモデルを公開したのでしょうか？

石上：正直、予想以上に反響がありました。
この2つのモデルの違いは学ばせている学習データが異なっており、オープンにした68億のモデルは、wikipedia・コモンクロールなど全て透明性のあるデータをもとにモデルを作っています。
^{※130億はパラメータのモデルには、一部自社データが含まれる}

モデルの公開については、LLM開発の構想を考えた時からすでに視野に入れており、実は最初からオープンなものを作りたいと思っていました。

というのも、そもそも日本語に強いLLMというものが日本全体で少なく、そこに課題を感じていたのです。海外はフェアユース^※という文化があり技術発展への理解が深いため使えるデータも多い印象ですが、日本ではまだそこが弱い。学習できるオープンな日本語文章のデータが少なかったり、計算リソースも限られている。

^{※一定の条件を満たしていれば、著作権者から許可を得なくても、著作物を再利用できることを示した法原理}

となると、いつまで経っても海外製のAIに遅れをとってしまう。
これを本気でやっていくには、1社だけでは無理で、国や企業・アカデミアと連携してLLMを作る必要があるのです。自分たちだけで技術を独占するのではなく、オープンなものを作って多くの人を巻き込んで性能を上げていき、日本の技術競争力に貢献する必要があると考えています。
そこで今回、一般公開を行いました。

ー実際に、商用利用可能なLLMは小さなサイズのモデルも含め6種類公開されました

玉津：ビジネスとして見た時に、モデルサイズは大きければ大きいほど良い、というものではありません。モデルサイズ以外の条件が同じ場合、大きければ生成品質は高くなる可能性は高いですが、モデルの運用コストもより必要になってくるのでそのバランスが必要で、応用場面に応じて使い分けが必要になってきます。

今回公開したモデルは、アカデミアなどの研究室はもちろん、個人の研究者/開発者が自身のPC等でも動かせるように複数のサイズのモデルを公開しました。多くの人が触れることで、裾野を広げることが大事だと思ったからです。

引き続き性能向上を目指している最中ですが、日本語の性能が100％完璧でないタイミングで公開することで、ここは良い・ここはまだだね、という皆さんのフィードバックをもとに日本全体でモデルを作っていきたいと考えています。

ー今後も期待されるLLM開発ですが、どのようなことを視野に入れていますか？

石上：研究開発という点では、より性能が良いモデル開発を目指していきたいと思います。
またLLM開発は大規模な学習が必要なので、1つのモデルを作るのに数ヶ月~数年など膨大な時間がかかるため失敗が許されないシビアな開発です。開発自体に関するノウハウもまだ少ないので、積極的に外部にも共有ができればと思います。

ほかにも、スーパーコンピューター「富岳」を使った東京工業大学や富士通などが進めるLLM開発プロジェクトに当社も連携を検討していますが、こうした取り組みや、アカデミアと一緒にLLMに関する共同研究などにも力を入れたいです。

毛利：ビジネスとしては、まずはLLMを活用し、既存サービスの精度上げに引き続き注力していきます。すでに社内の極予測AIや極予測TDにおける広告コピー生成などの機能において活用を進めていますが、広告以外の当社サービス・・・医療やチャットボットなどにおいても応用が始まっています。

また今後は、他の企業と連携して業界に特化した独自データを学習させた「業界特化型のLLM構築」を行うことで、これまでの既存生成AIサービスでカバーできなかった専門用語/専門知識に強いLLMを構築し、それを日本に還元していく・・というような取り組みも行いたいと思っています。LLMをベースに、幅広いビジネス展開がまさに始まろうとしています。

ー LLMは、サイバーエージェントの競争力の源泉になり得る、と。

毛利：広告領域では間違いなくそうなりますね。今後は、その使い道を広げていくことが大事だと思っています。

石上：ここ半年で起きた「ChatGPTモーメント」のような時代の波は、数年のうちにまた起きると思っています。 そこに太刀打ちできるAI開発の体制を作っておくことが大事で、それが会社としての競争力にも繋がるのではないでしょうか。

ですがそれを自社だけで抱えるのではなく、多くの企業・アカデミア・国と連携しながら、日本全体の技術力向上に貢献できればと思います。