プレスリリース
独自の日本語LLM（大規模言語モデル）、Amazon SageMaker JumpStartで公開
ー32,000トークン対応の商用利用可能なチャットモデルが世界的なクラウドサービスで初の公開ー
株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、70億パラメータ・32,000トークン対応の日本語LLM（Large Language Model、大規模言語モデル）が、AWSのフルマネージド型の機械学習サービスである「Amazon SageMaker 」 で扱えるモデルとなったことをお知らせいたします。なお、世界的なクラウドサービスにおいて当社のLLMを公開するのは今回が初めてです。
当社はかねてより日本語LLMの開発に取り組んでおり、2023年5月にはCyberAgentLM・2023年11月にはそのバージョン2を一般公開するなど、自然言語処理技術発展への貢献に努めてまいりました。
また2023年11月から2024年1月にかけては、「AWS LLM 開発支援プログラム」に採択され、AWSよりLLM開発を行うための計算機リソース確保に関するガイダンス・AWS 上でのLLM事前学習に関わる技術的なメンタリング、ビジネス支援、LLM学習用クレジット等のサポートを受けてまいりました。
このたび、取り組みの一環として、Amazon SageMaker JumpStartにおいて「CyberAgentLM」が扱えるモデルとなりました。これにより、日本語LLMを利用したい企業は、Amazon SageMakerのAmazon SageMaker JumpStartのメニューから選択いただくことで簡単に「CyberAgentLM」を自社環境にデプロイできるようになります。
また2023年11月から2024年1月にかけては、「AWS LLM 開発支援プログラム」に採択され、AWSよりLLM開発を行うための計算機リソース確保に関するガイダンス・AWS 上でのLLM事前学習に関わる技術的なメンタリング、ビジネス支援、LLM学習用クレジット等のサポートを受けてまいりました。
このたび、取り組みの一環として、Amazon SageMaker JumpStartにおいて「CyberAgentLM」が扱えるモデルとなりました。これにより、日本語LLMを利用したい企業は、Amazon SageMakerのAmazon SageMaker JumpStartのメニューから選択いただくことで簡単に「CyberAgentLM」を自社環境にデプロイできるようになります。
■モデルについて
今回掲載したモデルは、日本語および英語データで事前学習を行なった70億パラメータのベースモデルであるCyberAgentLM2-7Bをチャット形式でのチューニングを行ったCyberAgentLM2-7B-Chatです。CyberAgentLM2-7B-Chatは入出力の長さとして32,000トークンに対応しており、日本語の文章として約50,000文字を一度に処理することができます。モデルは商用利用可能なApache License 2.0で提供されています。
■Amazon SageMaker Jump Startの画面イメージ
当社は今後もLLMの開発とビジネス活用を進めるとともに、モデルの公開や産学連携などの取り組みを通じて国内における自然言語処理技術の発展に貢献してまいります。
■関連記事
本取り組みに関する詳細記事
https://aws.amazon.com/jp/blogs/news/cyberagentlm2-on-sagemaker-jumpstart/
問い合わせ回答業務への適用を題材に精度とコストをまとめた検証記事（CyberAgentLMバージョン1時点）
https://aws.amazon.com/jp/blogs/news/open-calm-and-openai-chatgpt-accuracy-on-jaqket-experiment-in-amazon-sagemaker/