株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証一部上場：証券コード4751）は、早稲田大学（東京都新宿区、総長：田中愛治）の菊池康太郎（博士後期課程在籍）氏、コンテンツ作成のためのコンピュータグラフィックス研究で多数の実績を持つエドガー・シモセラ准教授、ならびに人工知能技術の研究開発組織「AI Lab」に所属する研究員の大谷まゆ・山口光太による共著論文が、マルチメディア分野の国際会議「ACM Multimedia 2021」※1 に採択されたことをお知らせいたします。
「ACM Multimedia」は世界中の研究者により開催されている学術会議で、マルチメディア分野で権威あるトップカンファレンスの一つです。このたび採択された研究は、2021年10月に開催される「ACM Multimedia 2021」で発表されます。
研究背景
「AI Lab」ではマーケティング全般に関わる幅広いAI技術を研究・開発しており、大学・学術機関との産学連携を強化しながら様々な技術課題に取組んでいます。
近年、深層学習を活用してグラフィックデザインを自動生成する技術が注目を集めており、様々な領域での応用が期待されています。なかでも「レイアウト自動生成技術」は、クリエティブ制作における工数削減の点で重要です。
一般的にレイアウト作成では、要素同士の重なりの禁止や要素配置の左揃えなど、様々なデザイン上の制約が課せられることがあります。これまでの研究では、このような制約に基づいたレイアウト生成を学習するために、制約を事前に決めて生成モデルを学習する手法が用いられていました。しかし、従来の手法では新しい種類の制約が生じた場合に生成モデルを学習し直す必要があるため、制約に柔軟に対応することが難しいという課題がありました。
このような背景のもと、本研究では、ユーザーから生じる様々なデザイン要求に対応するため、モデルが学習した尤もらしいレイアウトの中から、さらに新しい制約を満たすものを効率的に探索する方法を提案しました。
研究論文の概要
このたび採択された論文「Constrained Graphic Layout Generation via Latent Optimization」※2 では、グラフィックデザインを支援するための新たなレイアウト自動生成手法を提案しています。本提案手法では、最初に自動生成したレイアウトを、制約を満たすように更新することで、望んだレイアウトを生成することを実現しました。これにより、デザインに関する新たな制約が発生した際にも、生成モデルを一から学習し直す必要なく、効率的に自動生成を行うことが可能となります。
本研究では、最初に制約を仮定せずにレイアウトを自動生成するモデルを学習します。ここでレイアウトがサンプリングされる空間は「レイアウトの潜在空間」と呼ばれ、この空間中の1点はそれぞれ特定のレイアウトに対応づけられます。
そしてある点を起点に、指定された制約を満たす領域に近い潜在空間上を探索していくことで、ユーザの指定した制約に沿うようなレイアウトに自動的に到達します。
レイアウトに対する制約の例としては、「重なりのないレイアウト」「画像やテキストの並び順」「大小関係を指定したレイアウト」などがあり、提案したモデルではそれらの制約に沿ったレイアウトを提示します。
このアプローチにより、単一の生成モデルでさまざまな制約付きレイアウト生成に対応することが可能となります。
▼レイアウトの制約を満たす領域に近い潜在空間上を探索していく手法のイメージ
「ACM Multimedia」は世界中の研究者により開催されている学術会議で、マルチメディア分野で権威あるトップカンファレンスの一つです。このたび採択された研究は、2021年10月に開催される「ACM Multimedia 2021」で発表されます。
研究背景
「AI Lab」ではマーケティング全般に関わる幅広いAI技術を研究・開発しており、大学・学術機関との産学連携を強化しながら様々な技術課題に取組んでいます。
近年、深層学習を活用してグラフィックデザインを自動生成する技術が注目を集めており、様々な領域での応用が期待されています。なかでも「レイアウト自動生成技術」は、クリエティブ制作における工数削減の点で重要です。
一般的にレイアウト作成では、要素同士の重なりの禁止や要素配置の左揃えなど、様々なデザイン上の制約が課せられることがあります。これまでの研究では、このような制約に基づいたレイアウト生成を学習するために、制約を事前に決めて生成モデルを学習する手法が用いられていました。しかし、従来の手法では新しい種類の制約が生じた場合に生成モデルを学習し直す必要があるため、制約に柔軟に対応することが難しいという課題がありました。
このような背景のもと、本研究では、ユーザーから生じる様々なデザイン要求に対応するため、モデルが学習した尤もらしいレイアウトの中から、さらに新しい制約を満たすものを効率的に探索する方法を提案しました。
研究論文の概要
このたび採択された論文「Constrained Graphic Layout Generation via Latent Optimization」※2 では、グラフィックデザインを支援するための新たなレイアウト自動生成手法を提案しています。本提案手法では、最初に自動生成したレイアウトを、制約を満たすように更新することで、望んだレイアウトを生成することを実現しました。これにより、デザインに関する新たな制約が発生した際にも、生成モデルを一から学習し直す必要なく、効率的に自動生成を行うことが可能となります。
本研究では、最初に制約を仮定せずにレイアウトを自動生成するモデルを学習します。ここでレイアウトがサンプリングされる空間は「レイアウトの潜在空間」と呼ばれ、この空間中の1点はそれぞれ特定のレイアウトに対応づけられます。
そしてある点を起点に、指定された制約を満たす領域に近い潜在空間上を探索していくことで、ユーザの指定した制約に沿うようなレイアウトに自動的に到達します。
レイアウトに対する制約の例としては、「重なりのないレイアウト」「画像やテキストの並び順」「大小関係を指定したレイアウト」などがあり、提案したモデルではそれらの制約に沿ったレイアウトを提示します。
このアプローチにより、単一の生成モデルでさまざまな制約付きレイアウト生成に対応することが可能となります。
▼レイアウトの制約を満たす領域に近い潜在空間上を探索していく手法のイメージ
今後
本研究成果を活用することで、「並びのきれいなデザイン」などを意図したレイアウトの自動生成が可能になるだけでなく、デザインの制約に広告効果の指標を取り入れることで、より「効果の高いデザイン」の自動生成への応用が期待できます。「AI Lab」ではこの技術を活用し、より効率的で高品質な広告作成を目指し、研究・開発に努めてまいります。
※1 ACM Multimedia
※2 Constrained Graphic Layout Generation via Latent Optimization
論文詳細
採択カンファレンス名：ACM Multimedia 2021
論文名：Constrained Graphic Layout Generation via Latent Optimization
執筆者名：Kotaro Kikuchi, Edgar Simo-Serra, Mayu Otani, Kota Yamaguchi
掲載URL：https://arxiv.org/abs/2108.00871
webサイト：https://ktrk115.github.io/const_layout/
本研究成果を活用することで、「並びのきれいなデザイン」などを意図したレイアウトの自動生成が可能になるだけでなく、デザインの制約に広告効果の指標を取り入れることで、より「効果の高いデザイン」の自動生成への応用が期待できます。「AI Lab」ではこの技術を活用し、より効率的で高品質な広告作成を目指し、研究・開発に努めてまいります。
※1 ACM Multimedia
※2 Constrained Graphic Layout Generation via Latent Optimization
論文詳細
採択カンファレンス名：ACM Multimedia 2021
論文名：Constrained Graphic Layout Generation via Latent Optimization
執筆者名：Kotaro Kikuchi, Edgar Simo-Serra, Mayu Otani, Kota Yamaguchi
掲載URL：https://arxiv.org/abs/2108.00871
webサイト：https://ktrk115.github.io/const_layout/