東京科学大学情報理工学院 岡崎直観教授に聞く、企業におけるAI活用・AI人材育成のあり方

友松：岡崎先生の研究室では、横田理央教授らの研究チームと国立研究開発法人 産業技術総合研究所（以下、産総研）と共同で日本語に強い大規模言語モデル（以下、LLM）「Swallow」を開発していらっしゃいます。大学の研究室が独自にLLMを開発するというのは非常に珍しいことだと感じました。

岡崎氏：昔から自然言語処理の研究をしており、以前は自動要約研究の一環として、新聞社と共同で新聞記事の見出しを生成するツールを開発しました。5年以上前の取り組みですが、実際に現場で使えるほどの精度に仕上がりました。

その後LLMが登場した際に、実際に自分たちで作ってみなければ、賢い人工知能を実現するコアの部分が分からずに研究をすることになる危機感を感じました。開発の過程で、賢い人工知能を作るには何が必要か、そのレシピを知ることができると考えたからです。そんな中で横田先生からお声かけいただき、横田研究室で高性能計算（HPC）を、岡崎研究室は学習データの準備やモデルの評価を中心に担当することになりました。また、産総研に提供して頂いた計算環境（ABCI）を活用し、Llama 2をベースに「Swallow」を開発しました。

大学の研究室単位で密に連携してLLMを開発している事例は他にはありません。「Swallow」のようにコンパクトな体制で開発すると小回りが利きますし、アイディアをすぐに実行に移せる点にメリットを感じています。

岡崎氏：今回の講義では「大規模言語モデルとSwallowの現状と展望」と題し、LLMを開発しているからこそ分かるその仕組みや開発する上で気をつけている点、また日本語に強いLLMを開発することの意義等についてお話させていただきました。様々なLLMがありますが、自分たちで評価・検証を行い、人工知能の賢さについて考察を深めることがなぜ大切なのか、この講義で理解していただければと考えています。

友松：実際にLLMを開発していらっしゃる岡崎先生だからこそ分かる知見を共有いただき、ありがたかったです。サイバーエージェントでも独自の日本語LLMを開発していますが、その知見を細部にわたって知る機会がなかなかないため、LLMを開発する上での苦労を直接伺えたのは多くのエンジニアにとって有意義な機会だったと思います。
当社のみならず、日本語に強いLLMを開発する企業が増えていますが、どんなことが求められるとお考えでしょうか？

岡崎氏：LLMには色々なサイズがあり、世界的な大企業が開発するものでは1000億級を超えるモデルが動いていることもあります。1つのモデルで全ての国の言葉・森羅万象を扱おうとする考え方もありますが、実際にビジネスで利用するLLMのサイズはせいぜい100億、最も使いやすいのは数10億パラメータ台でしょう。その場合、全ての言語や国の知識を1つのLLMに入れるのは現実的ではありません。日本語に関して使いたいのであればやはり日本語向けに強化したLLM、応用に特化したモデルの方がコストパフォーマンスが良いと考えます。日本で日本語に強いLLMを開発する意義というのは、日本で大切にされている言葉や文化、情報を把握したうえで、適切に応答できることです。

御社が、独自のLLMを開発されているのは本当に素晴らしいことだと感じます。LLMの開発というのは、データと計算資源があればできる、という簡単なものではありません。例えば、大量のテキストデータと計算資源で次の単語予測を学習するとベースモデルができますが、ベースモデルだけでは全く対話ができません。インストラクション・チューニングすることで初めて対話できるモデルになりますが、インストラクション・チューニングのためにどのような学習データを用意すればよいのか、汎用的に使える人工知能を開発するためにどのようなデータ作成・評価を行えばよいか、自明ではありません。自分たちでLLMを開発した経験があるかないかというのは大きな違いがあると思っています。開発経験があればLLMの特性を理解しているので、LLMの利用の勘所を把握しているでしょうし、オープンで性能の良いモデルの中から応用にそって最適なモデルを選ぶためのノウハウも持っていると思います。

友松：この1,2年で様々なLLMが出現したことで、データサイエンティストがバリューを発揮する場所が変わってきたと常々感じています。世界的な大企業の技術トレンドに乗るだけでは、急速な変革にただ振り回されることになりかねません。自分たちならではの強みを掛け合わせていくことが重要だと思います。

友松：生成AIは社会全体に大きな変革をもたらしましたが、岡崎先生をはじめ自然言語処理の研究者における生成AIの立ち位置はどのようなものなのでしょうか？

岡崎氏：AIのトレンドでいうと、生成AIの前に2010年代に深層学習ブームがありました。音声処理と画像処理でブームが進行し、やがてそれらが自然言語処理にも移ってきました。その後、自然言語処理では機械翻訳モデルの研究が進展し、Transformer（Googleの研究者等が発表した深層学習モデル）が生まれました。それと同じような時期に画像処理の分野では敵対的生成ネットワーク（GAN）が出現し、画像生成やスタイル変換が実用的になりました。このように、AIが画像やイラストも描いてくれるという機運が高まってきたのが2010年代中頃のことです。

2020年頃に現在のLLMに近い規模のモデルが登場しましたが、当時のLLMは次の単語を予測するという昔ながらの言語モデルでありながら、汎用性が垣間見れることがあり、ある程度面白いことができるようになりました。その後拡散モデルが出てきて、画像処理の分野ではいよいよAIが人間を超えるクオリティのイラストを描ける可能性が高まりました。そしてChatGPTが登場し、自然言語の分野でも生成AIが本格的に使えるようになったと思います。

友松：私は2017年からチャットボットの開発に携わっていますが、当時の自然言語処理の技術として単語同士の演算ができることに衝撃を受けていました。
そこから10年経たずして、このような変化を遂げたことに大きな驚きを感じています。

一方で、生成AIへの大きな期待がある中で、期待値のズレも徐々に現れてきたと思います。特別講義の中で岡崎先生もおっしゃっていましたが、Gartnerが発表した「生成AIのハイプ・サイクル：2024年」では、生成AIは幻滅期に入っていくというお話がありました。生成AIにおいては、社会実装する上でまだまだ課題があると思いますし、これから5年、10年後に様々な技術の進歩がある中、企業としてどう社員のリスキリングを進めていくべきか、難しい課題だと考えています。

現在当社が取り組んでいる「生成AI徹底理解リスキリング」をはじめ、様々な企業がAI人材の育成を推し進めていますが、その点どのように考えていらっしゃいますか？また、育成にあたって外してはいけないポイントがあれば教えていただきたいです。