株式会社サイバーエージェントAI事業本部の宮西洋輔と、北陸先端科学技術大学院大学（JAIST）のNguyen Le Minh氏による共著論文「Interpreting in-context learning in vision-language models for semantics–statistics disentanglement via out-of-distribution benchmark」が、ニューラルネットワーク・AI分野の国際論文誌「Neurocomputing」にて採択されました。
本研究は、技術者のスキルアップ支援を目的に、一定の業務時間を用いて研究活動に取り組める「CAゼミ制度」における活動成果です。
本研究は、技術者のスキルアップ支援を目的に、一定の業務時間を用いて研究活動に取り組める「CAゼミ制度」における活動成果です。
「Neurocomputing」について
「Neurocomputing」は1989年に創刊された、人工知能・機械学習・ニューラルコンピューティング分野の理論・実践・応用を扱う難関国際論文誌です。
公式サイト：https://www.sciencedirect.com/journal/neurocomputing
公式サイト：https://www.sciencedirect.com/journal/neurocomputing
論文概要
「Interpreting in-context learning in vision-language models for semantics–statistics disentanglement via out-of-distribution benchmark」
著者：宮西洋輔（サイバーエージェント AI事業本部）・Nguyen Le Minh（北陸先端科学技術大学院大学）
■CAゼミ制度
「ゼミ制度」とは、自由参加の勉強会とは異なり、大学における研究室やゼミのように興味関心のある研究テーマを軸にゼミ生が集まり、研究テーマに沿って活動を行う制度です。事業部やサービス単位では着手が難しい領域への技術的な取り組みや、技術者の知識向上を支援しています。
https://www.cyberagent.co.jp/techinfo/info/detail/id=25611
著者：宮西洋輔（サイバーエージェント AI事業本部）・Nguyen Le Minh（北陸先端科学技術大学院大学）
| 本研究では、画像と文章を組み合わせて理解する視覚言語モデル（VLM）を対象に、文脈内学習（ICL）がどのような場合に性能向上につながるのかを明らかにすることを目指しました。 実際のAIの利用環境では、学習時とは異なる傾向のデータが入力される「分布シフト」が生じます。そこで本研究では、VLMの内部表現を「意味情報」と「統計的特徴」に分けて分析する手法「Semantics–Statistics Disentanglement（S2D）」を提案しました。 複数の視覚言語モデルとデータセットを用いて検証した結果、モデルがもともと持つ意味情報が弱い場合にICLによる精度向上が大きくなることを確認しました。また、ICLによって統計的特徴よりも意味情報を重視する方向へ、モデルの内部表現が変化することが示されました。 これらの結果から、分布シフト下でICLが有効となる条件を明らかにし、より適切なコンテキスト戦略を選択するための知見を得ました。 |
■CAゼミ制度
「ゼミ制度」とは、自由参加の勉強会とは異なり、大学における研究室やゼミのように興味関心のある研究テーマを軸にゼミ生が集まり、研究テーマに沿って活動を行う制度です。事業部やサービス単位では着手が難しい領域への技術的な取り組みや、技術者の知識向上を支援しています。
https://www.cyberagent.co.jp/techinfo/info/detail/id=25611