AI Lab、自然言語処理分野の国際会議「LREC-COLING 2024」にて4本の論文採択

■採択された4本の論文について

近年、インターネット広告市場の急速な成長に伴い、広告効果を最大化することを目的とした、AI技術を活用したクリエイティブ制作や運用の効率化が注目されています。「AI Lab」では、クリエイティブ領域における様々な技術課題に対して、大学・学術機関との産学連携を強化しながら幅広いAI技術の研究・開発に注力しています。
なかでも、自然言語処理分野の研究チームでは、「広告テキストの自動生成技術」や「広告表現の理解」の研究に取り組むとともに、当社の提供するAIで効果の出せる広告テキストを予測・自動生成する「極予測TD」や日本語に特化した大規模言語モデル（LLM）である「CyberAgentLM」の技術開発および精度向上に貢献してまいりました。



「Cross-lingual Transfer or Machine Translation? On Data Augmentation for Monolingual Semantic Textual Similarity」
著者：星野翔 (サイバーエージェント AI Lab)、加藤明彦 (サイバーエージェント AI Lab)、村上聡一朗 (サイバーエージェント AI Lab)、張培楠 (サイバーエージェント AI Lab)

自然言語処理はテキストの理解と生成に取り組む研究分野です。そのうちテキスト理解での要素技術のひとつが「文ベクトル」で、テキストを計算機上で扱いやすい数値に変換することで利用しやすくします。文ベクトルは広告分野でも活用されており、最近では大規模言語モデル（LLM）の検索補助付き生成（RAG）などに応用されています。しかし文ベクトルは多言語対応に課題があり、例えば日本語の学習データが英語に比べて不足しています。 そこで本研究では、多言語の文ベクトルの性能向上を目指して、学習データや作成方法を詳細に検討しました。具体的には下記2つのデータ拡張手法を調査しました。 - (a) 言語間転移: 英語の学習データで多言語モデルを追加学習 - (b) 機械翻訳: 英語から他言語に変換した擬似データで多言語モデルを追加学習 これら手法とよく使われている学習データ2種類（英語NLIと英語Wikipedia）を組み合わせて比較しました。 その結果、日本語と韓国語での意味的類似度タスク（STS）のベンチマーク実験において、英語Wikipediaデータの言語間転移が優れた性能を示しました。またこの知見を踏まえて日本語Wikipediaデータで多言語モデルの追加学習を試みたところ、言語間転移をも上回る最高の性能を示しました。これらの実験結果から、文ベクトルの学習に各言語Wikipediaデータが適している新たな可能性が示唆されます。 本研究の成果は、広告文の自動生成および効果の事前予測を行う「極予測TD」などへのプロダクト応用が期待できます。

「CAMERA3: An Evaluation Dataset for Controllable Ad Text Generation in Japanese」
著者：井上剛 (Mohamed bin Zayed University of Artificial Intelligence)、加藤明彦 (サイバーエージェント AI Lab)、三田雅人 (サイバーエージェント AI Lab)、本多右京 (サイバーエージェント AI Lab)、張培楠 (サイバーエージェント AI Lab)

広告文の生成は、商品やサービス情報を含む広告アセットから、広告文を自動で生成するタスクです。広告効果を最大化する上で重要なポイントの一つに、「多様な広告文の生成」があります。たとえば同じ製品の広告であっても、製品の品質に焦点を当てて訴求をするのか、限定キャンペーンに焦点を当てて訴求をするのかによって、異なる広告文が生成できます。このような観点を制御できる広告文生成モデルの開発には、訴求タイプとそれに応じた広告文がアノテーションされたデータセットが必要となります。しかし、このようなアノテーションが施されているデータセットは不足しており、そのためモデルの定量的評価が困難となっています。 そこで本研究では、制御可能な広告文生成タスクを新たに提案し、タスク評価用の広告文約4千文を含むデータセット「CAMERA3」を構築しました。本データセットには、広告アセットに対する訴求タイプのアノテーション、および付与された訴求タイプに応じて個別に制作された広告文が収録されています。このデータセットを用いることで、広告主が指定した訴求タイプを含む広告文を生成するなど、制御可能な広告文生成モデルの定量的評価が可能になります。これにより、より実用的な広告文生成モデルの開発につながることが期待されます。 本研究の成果は、大規模言語モデル（LLM）の評価やそれらを活用したより効果的な広告文生成モデルの開発に寄与することが期待されます。 <論文リンク> TBA

「A Single Linear Layer Yields Task-Adapted Low-Rank Matrices」
著者：金輝燦 (東京都立大学)、佐々木翔大 (サイバーエージェント AI Lab)、星野翔 (サイバーエージェント AI Lab)、本多右京 (サイバーエージェント AI Lab)

大規模言語モデル（LLM）は膨大なパラメータで構成されており、全パラメータの微調整学習には多くの計算機を要します。この問題に対処すべく、 Low-Rank Adaptation (LoRA) のような少量の追加パラメータのみ微調整する手法が提案されています。ただし対象となるLLMの層数が多いほど LoRA で学習すべきパラメータ量も増加します。 本研究では、まずLoRAで学習された各層の低ランク行列の共通性を分析しました。この分析結果を基に、我々は簡易的なニューラルネットワークを用いてLLMの全ての層に対する低ランク行列を推定する Conditionally Parametarized LoRA (CondLoRA) を提案しました。CondLoRAで学習するパラメータ数はLLMの層数に依らず一定のため、LoRAと比較して学習パラメータを削減できます。また、言語理解タスク GLUE においてCondLoRA はLoRAと同等の性能を達成しました。 本研究の成果は、当社の開発するLLMであるCyberAgentLMの追加学習を、より効率的に行う手法の考案に繋がることが期待されます。

「Llama-VITS: Enhancing TTS Synthesis with Semantic Awareness」
著者：馮昕璨 (奈良先端科学技術大学院大学)、吉本暁文 (サイバーエージェント AI Lab)

テキストから音声を生成する技術（Text to Speech・以下TTS）は、アナウンスや一部の感情音声において、人間の音声と遜色ない自然さと音質を実現しています。 しかし、広告への活用においてはよりきめ細かく幅広い表現力が要求されるため、人手による表現選択や修正が必要な場合があります。そのため、文脈に応じてより適切な表現を自動的に得ることによって、こうした工数を減らすことが重要です。 従来、文の生成を目的としない比較的小規模な言語モデルを音声向けに調整することで文脈に応じた表現を学習させる方法が提案されてきましたが、大規模言語モデル（LLM）の適用はまだ十分に検証されていませんでした。 本研究では、LLM の一つである Llama2 を用いて音声表現を複数の方法で作り、TTS の一つである VITS に統合する Llama-VITS という手法を提案しました。 提案手法は各指標において以下の性能を確認しました。 - 自動的な評価指標においてベースラインと同等以上の性能 - 人手による感情表現の指標において文の生成を目的としない言語モデルを用いる場合と比較しても顕著に向上 LLM はより多くの文脈に関する知識をもつと考えられるほか、生成内容を制御するテクニックが多数提案されています。TTS への LLM の統合は、音声の制御に関してもこれらの恩恵を受けられる可能性を広げます。 本研究の成果は、より繊細な感情表現が重要となる「デジタルツインレーベル」などのプロダクトへの応用が期待できます。 <論文リンク> TBA

■今後

これらの研究の成果は、人手による広告テキストの制作に加えて、当社で取り組む「広告テキストの自動生成技術」や「広告表現の理解」への活用等が期待されます。今後も「AI Lab」ではより効果の高い広告制作と運用を目指し、研究・開発に努めてまいります。




※1 Mohamed bin Zayed University of Artificial Intelligence所属・2023/06/01より「AI Lab リサーチインターンシップ」に参加中
※2 東京都立大学所属・2023/09/01より「AI Lab リサーチインターンシップ」に参加中
※3 奈良先端科学技術大学院大学所属・2023/08/01より「AI Lab リサーチインターンシップ」に参加中
※4「LREC-COLING 2024」
List of Accepted Papers