独自の日本語LLM（大規模言語モデル）のバージョン2を一般公開 ―32,000トークン対応の商用利用可能なチャットモデルを提供―

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、70億パラメータ・32,000トークン対応の日本語LLM（Large Language Model、大規模言語モデル）を公開したことをお知らせいたします。

当社はかねてより日本語LLMの開発に取り組んでおり、2023年5月には国内の自然言語処理技術の発展への寄与を目的とし、「CyberAgentLM」を一般公開しました。その後もLLMに関する研究開発を続け様々なモデルを開発するとともに、当社が提供する「極予測AI」をはじめとするサービスにおいて活用を進めております。

■モデルについて

今回公開したモデルは、日本語および英語データで事前学習を行なった70億パラメータのベースモデルであるCyberAgentLM2-7Bと、チャット形式でのチューニングを行ったCyberAgentLM2-7B-Chatの2種類です。CyberAgentLM2-7B-Chatは入出力の長さとして32,000トークンに対応しており、日本語の文章として約50,000文字を一度に処理することができます。

モデルは商用利用可能なApache License 2.0で提供されており、以下のURLからご利用いただけます。

■ URL
https://huggingface.co/cyberagent


当社は今後もLLMの開発とビジネス活用を進めるとともに、モデルの公開や産学連携などの取り組みを通じて国内における自然言語処理技術の発展に貢献してまいります。