株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、人工知能技術の研究開発組織「AI Lab」におけるリサーチインターンシップ参加者の堀田大地※1・Tianwei Chen※2ならびに研究員の曹旭・楊興超※3らによる論文4本が「CVPR 2024 (Computer Vision and Pattern Recognition)」※4に採択されたことをお知らせいたします。
「CVPR」は、コンピュータ・ビジョン分野における世界最高峰の国際会議のひとつで、画像認識関連技術のトップ研究者が一堂に集う最大規模の学会です。
本年度は11,532件の投稿の中から2,719件（23.6%）の論文が採択されました。また、このたび当社から採択された論文のうち「Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation」が、注目論文としてOral（口頭発表）に選出されました。Oralは学会に採択された論文の中でも限られた研究のみに与えられ、2024年では採択率0.7%程度と非常に難易度の高いものです。
この度採択された論文は、2024年6月にアメリカ・シアトルで開催される「CVPR 2024」にて、発表を行います。
「CVPR」は、コンピュータ・ビジョン分野における世界最高峰の国際会議のひとつで、画像認識関連技術のトップ研究者が一堂に集う最大規模の学会です。
本年度は11,532件の投稿の中から2,719件（23.6%）の論文が採択されました。また、このたび当社から採択された論文のうち「Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation」が、注目論文としてOral（口頭発表）に選出されました。Oralは学会に採択された論文の中でも限られた研究のみに与えられ、2024年では採択率0.7%程度と非常に難易度の高いものです。
この度採択された論文は、2024年6月にアメリカ・シアトルで開催される「CVPR 2024」にて、発表を行います。
■採択された4本の論文について
「AI Lab」ではマーケティング全般に関わる幅広いAI技術を研究・開発しており、大学・学術機関との産学連携を強化しながら様々な技術課題に取り組んでいます。なかでもクリエイティブ領域における研究チームでは、当社の提供する「極予測シリーズ」や「デジタルツインレーベル」をはじめとしたクリエイティブ表現全般に関わる幅広いAI技術を研究するとともに、メディア理解の基盤となる評価指標やモデルの分析方法の開発も行うなど、応用研究だけでなく基礎研究にも注力をしています。
「Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation」
著者：堀田大地 （東京大学）、井上直人 （サイバーエージェントAI Lab）、菊池康太郎（サイバーエージェントAI Lab）、山口光太（サイバーエージェントAI Lab）、相澤清晴（東京大学）
「SuperNormal: Neural Surface Reconstruction via Multi-View Normal Integration」
著者：曹旭 （サイバーエージェントAI Lab）、武富貴史（サイバーエージェントAI Lab）
「Makeup Prior Models for 3D Facial Makeup Estimation and Applications」
著者：楊興超（サイバーエージェントAI Lab、筑波大学）、武富貴史（サイバーエージェントAI Lab）、遠藤結城（筑波大学）、金森由博（筑波大学）
「Would Deep Generative Models Amplify Bias in Future Models?」
著者：Tianwei Chen（大阪大学）、廣田裕亮（大阪大学）、大谷まゆ（サイバーエージェントAI Lab）、 Noa Garcia（大阪大学）、 中島悠太（大阪大学）
「Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation」
著者：堀田大地 （東京大学）、井上直人 （サイバーエージェントAI Lab）、菊池康太郎（サイバーエージェントAI Lab）、山口光太（サイバーエージェントAI Lab）、相澤清晴（東京大学）
| 本研究は、商品画像やバナーのような何かしらのコンテンツがあるキャンバス上にレイアウトを生成するための機械学習モデルを提案しています。 レイアウト生成は見出しやキャッチコピーのような要素を自動で配置する技術であり、商品画像やバナーなどのグラフィックデザインの制作を大幅に効率化することが期待されています。 このような生成技術は”コンテンツ考慮型レイアウト生成”として研究されています。近年の手法の多くは単一の学習型生成モデルに依存しており、一度学習した知識を用いてレイアウト生成を行う一方で学習に十分なデータが存在せず学習効率性が悪い問題や、安定した学習を行える生成モデルの構築が不十分な問題があります。 本研究では、クリエイターが作品を創る時に実際の例を参照するような創作方法に触発され、実際のレイアウトを見ながら生成を行う生成モデルの構築に取り組みました。 具体的には、自己回帰モデル型Transformerを利用した生成モデルを構築し、検索増強型生成（Retrieval Augmented Generation、RAG）を組み込んだ手法を提案しました。 提案手法は既存の生成モデルに容易に組み込み学習を行えるうえに、学習効率性を向上させ少ないサンプルでも高い性能を達成できることが確認されました。 本研究は当社が提供する「極予測AI」においてバナークリエイティブの自動生成への応用が期待されています。 ＜論文リンク＞ Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation ＜Research Blog＞ https://cyberagent.ai/blog/pr/intern/19224/ |
「SuperNormal: Neural Surface Reconstruction via Multi-View Normal Integration」
著者：曹旭 （サイバーエージェントAI Lab）、武富貴史（サイバーエージェントAI Lab）
| 本研究では、写真から効率的かつ高精度に3D形状を復元する手法を提案しています。日常的に利用可能なデバイス（スマートフォンやビデオライト）を用いて、数分でデスクトップ型3Dスキャナーに匹敵する復元精度を実現しました。 物体表面の細部を復元するには、通常、高価な3Dスキャナーを使用するか、数百個の視点から写真を撮影する必要がありますが、これは一般ユーザーにとってはあまり実用的ではありません。 本研究では、多視点照明差ステレオ法という手法を採用し、十数個の視点でライトの位置を変更しながら撮影を行います。照度差ステレオ法により、各視点で画素レベルの繊細な形状情報を取得することが可能になります。各視点で取得されている形状情報にフィットするようにニューラル陰関数を最適化することで、高精細の3D形状を復元します。  このような現実物体の3D形状取得技術は、コンピュータグラフィックス技術を用いた広告制作への応用が期待されます。 ＜論文リンク＞ SuperNormal: Neural Surface Reconstruction via Multi-View Normal Integration |
「Makeup Prior Models for 3D Facial Makeup Estimation and Applications」
著者：楊興超（サイバーエージェントAI Lab、筑波大学）、武富貴史（サイバーエージェントAI Lab）、遠藤結城（筑波大学）、金森由博（筑波大学）
| 本研究では、3DCG顔モデルに対して簡易に化粧を施すことを可能とする2つの新しい化粧テクスチャーモデルを提案しています。これらのモデルはそれぞれ異なる利点があり、想定するアプリケーションシナリオによって使い分けることを想定しています。 1つ目のモデルは主成分分析に基づく線形モデルであり、モデル構築の容易さと利用時の計算コストの低さが特徴です。一方で、化粧の詳細なパターンの表現が難しいという問題があります。 2つ目のモデルは高画質な画像を生成することができるStyleGAN2に基づいており、モデル構築や利用時の計算コストは高いものの、化粧の詳細なパターンをリアルに再現する能力を有することが特徴です。 これらの新たな化粧モデルの導入により、顔画像からの化粧パターン抽出タスクにおいて従来の手法では抽出が困難であった斜めの顔や薄いメイクといった入力に対してもより正確な抽出を実現することが可能となりました。 さらに、単一画像からの化粧付き3D顔の再構築や直感的な化粧パターンの編集・化粧の入れ替えおよび補間などのタスクにおいても本研究で提案しているモデルの優位性を確認しています。  本研究の成果は、当社で取り組んでいる「デジタルヒューマンの広告利用」の演出技術として活用されることが期待されます。 ＜論文リンク＞ Makeup Prior Models for 3D Facial Makeup Estimation and Applications |
「Would Deep Generative Models Amplify Bias in Future Models?」
著者：Tianwei Chen（大阪大学）、廣田裕亮（大阪大学）、大谷まゆ（サイバーエージェントAI Lab）、 Noa Garcia（大阪大学）、 中島悠太（大阪大学）
| 本研究では、Stable Diffusionのような近年の深層生成モデルが、将来のモデルにおけるバイアスに及ぼす影響を分析しています。 現在、深層生成モデルによって生成された画像がインターネット上で日々大量に共有されています。生成された画像は高品質ですが、最近の深層生成モデルには強いバイアスがあること（ここでは特定の人種、性別が多くなったり、特定の属性の人に関して性能が落ちるような偏りを指す）が多くの研究で示されており、これはインターネットに有害なコンテンツを広める可能性があります。 このような問題意識から、本研究では生成画像が将来のモデルにバイアスの増幅をもたらすという仮説を調査しました。 実験では広く使用されている2つのデータセットの元の画像を生成された画像で段階的に置き換えたシナリオを設計しました。そして、これらのデータを用いてOpenCLIPなどのモデルを学習し、性能とバイアスの指標で評価しました。 今回の結果は、生成画像を用いた訓練を通じてモデルのバイアスが常に増幅するとは限らないことを示しています。また、一部のタスクではバイアスの緩和も見られました。さらに、バイアスの緩和や増幅を引き起こす可能性のある要因として、画像生成の失敗（例えば、顔領域のボケ）やデータセットに元からあるバイアスなどを検討しました。 本研究は、安全で信頼性のある深層生成モデルの研究開発、および深層生成モデルによるデータ拡張に役立つことが期待されています。 ＜論文リンク＞ Would Deep Generative Models Amplify Bias in Future Models? |
■今後
これらの研究は、生成AI分野における研究開発の基礎技術になるとともに、「極予測シリーズ」や「デジタルツインレーベル」をはじめとした当社のサービスへの活用等が期待されます。「AI Lab」は今後もAI技術を取り入れたより品質の高い広告制作の実現を目指し、研究・開発に努めてまいります。
※1 東京大学所属・2023/08/01よりリサーチインターンシップに参加
※2 大阪大学所属・2023/04/01よりAI Lab京都拠点においてリサーチインターンシップに参加
※3 AI Lab所属・2023年より筑波大学博士後期課程在学中
※4 The IEEE / CVF Computer Vision and Pattern Recognition Conference (CVPR)
※1 東京大学所属・2023/08/01よりリサーチインターンシップに参加
※2 大阪大学所属・2023/04/01よりAI Lab京都拠点においてリサーチインターンシップに参加
※3 AI Lab所属・2023年より筑波大学博士後期課程在学中
※4 The IEEE / CVF Computer Vision and Pattern Recognition Conference (CVPR)