AI Lab、「東北大学⾔語AI研究センター」センター長の鈴木潤教授と、「LLM（大規模言語モデル）の有する言語転移能力の調査」に関する共同研究を開始

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、人工知能技術の研究開発組織「AI Lab」において、LLM（Large Language Models、大規模言語モデル）の研究強化を図るとともに、本領域において「東北大学⾔語AI研究センター」※1 のセンター長である鈴木潤教授と共同研究を開始したことをお知らせいたします。


■背景
近年、LLMの研究開発が盛んに行われており、その汎用的な能力から事業における利活用が大幅に広がっています。当社では、独自の日本語LLMの開発を行っており、当社が提供する「極予測AI」をはじめとするサービスにおいて活用を始めております。

LLMの学習には大量のテキストデータを要しますが、日本語は英語に比べてテキストデータが少ないことが課題として認識されています。
また、目的言語以外の言語のテキストデータを用いてモデルを学習する言語横断の転移学習が有効であることは、LLMが注目を集める以前から報告されており、LLMの学習においても有効であることが期待されます。

このような背景のもと、このたび「東北大学言語AI研究センター」センター長の鈴木潤教授と共同研究を開始し、LLMの有する言語転移能力の調査に取り組んでまいります。鈴木教授は自然言語処理分野を牽引する研究者の1人で、基盤技術の研究から応用研究に至るまで、幅広い領域にわたる研究を行っています。なお、東北大学は2023年10月1日に「東北大学言語AI研究センター」を新設しており、鈴木教授は本研究センターのセンター長を務めています。

本共同研究では、LLMが言語転移能力を発現する条件について調査を行うとともに、複数言語のテキストデータを効率的にLLM学習に用いるアプローチを検討します。これにより、当社が事業活用するLLMの言語能力の底上げを見据えています。



■今後
AI Labは今後も、さらなる技術の品質向上を目指し、研究・開発に努めるとともに、国内における自然言語処理技術の発展に貢献してまいります。


※１「東北大学言語AI研究センター」　https://www.tohoku.ac.jp/japanese/2023/10/press20231024-01-ai.html