プレスリリース
AI Lab、コンピュータビジョン分野のトップカンファレンス「ICCV」にて共著論文採択 画像に描画済みのテキストが再編集可能となる手法を提案 ーICCVにて2本の論文採択へー
株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証一部上場：証券コード4751）は、人工知能技術の研究開発組織「AI Lab」に所属するリサーチサイエンティストの下田和、山口光太ならびに九州大学大学院の原口大地氏、内田誠一教授による共著論文が、コンピュータビジョン分野の国際会議「ICCV 2021」※1 にて採択されたことをお知らせいたします。
「ICCV」は隔年開催されるコンピュータビジョン・画像認識分野の国際会議で、「CVPR」※2「ECCV」※3 などと並び、分野で最も権威のある学会の一つです。2021年度は採択率がおよそ25%でした。このたび「AI Lab」からは本件並びに、リサーチサイエンティスト山口光太による主著論文※4 の2本が採択されており、2021年10月にオンラインで開催される「ICCV 2021」で発表を行います。
※4 主著論文「CanvasVAE: Learning to Generate Vector Graphic Documents」についてはこちらのプレスリリースで詳細をご確認ください
■研究背景
「AI Lab」ではコンピュータグラフィックス全般に関わる幅広いAI技術を研究開発しており、大学・学術機関との産学連携を強化しながら様々な技術課題に取組むとともに、当社のビジネス課題の解決につなげるような、より実践的な研究開発を行ってまいりました。
近年、運用型広告では、広告効果を維持するために大量の広告クリエイティブの制作と、迅速な運用が必要とされています。クリエイティブの運用においては、既に配信されている広告クリエイティブを参考に、より効果が期待できるデザインへと画像を再編集していくことが重要です。
●ベクタ形式とラスタ形式について
一般的にクリエイティブデザインの表現は、ラスタ形式とベクタ形式の2種類に分けられます。ベクタ形式は、文字や物体をどのように描画するかという情報を保存し、後から容易に人が再編集してデザインを画像に出力することが可能という特徴があります。（PowerPoint・Photoshop・Illustratorなどが該当）
一方、ラスタ形式では1ピクセル単位のドットが並ぶ事で描画をしており、拡大・変形によってズレやゆがみが生じるため、ラスタ形式で出力された画像は再編集することが難しいという特徴があります。（JPEG・PNGなどが該当）そのため、これまでの広告配信においては、配信されているラスタ形式のクリエイティブデザインは再編集して新たなデザインとして書き出したり再利用することが難しいという課題がありました。
■論文研究の概要
このような背景のもと、当社では一度ラスタ形式の画像として出力されたデザインに含まれる文字をPowerPoint・Photoshopなどの制作ツールで編集可能な「ベクタ形式」に戻す手法の開発に取り組み、研究を進めてまいりました。
今回ICCVに採択された論文「De-rendering Stylized Texts」※5 では、深層学習モデルを利用し、与えられた画像に含まれる文字領域を検出し、文字の種類、色やフォントといった描画に関する情報を推定する手法を開発し、提案しました。
本研究では文字の検出、背景領域の穴埋め、文字スタイルの推定を行うニューラルネットワークと、推定結果を使ってより精緻に入力画像を再構成できるように微分可能なテキストレンダリング最適化手法を提案しています。
今回提案する手法を用いることで、一度画像として出力されたクリエイティブデザインを容易に再利用して新たなデザインを制作したり、デザインの微調整をすることが可能になります。
▼本論文で提案している画像中の文字の再編集手法
「ICCV」は隔年開催されるコンピュータビジョン・画像認識分野の国際会議で、「CVPR」※2「ECCV」※3 などと並び、分野で最も権威のある学会の一つです。2021年度は採択率がおよそ25%でした。このたび「AI Lab」からは本件並びに、リサーチサイエンティスト山口光太による主著論文※4 の2本が採択されており、2021年10月にオンラインで開催される「ICCV 2021」で発表を行います。
※4 主著論文「CanvasVAE: Learning to Generate Vector Graphic Documents」についてはこちらのプレスリリースで詳細をご確認ください
■研究背景
「AI Lab」ではコンピュータグラフィックス全般に関わる幅広いAI技術を研究開発しており、大学・学術機関との産学連携を強化しながら様々な技術課題に取組むとともに、当社のビジネス課題の解決につなげるような、より実践的な研究開発を行ってまいりました。
近年、運用型広告では、広告効果を維持するために大量の広告クリエイティブの制作と、迅速な運用が必要とされています。クリエイティブの運用においては、既に配信されている広告クリエイティブを参考に、より効果が期待できるデザインへと画像を再編集していくことが重要です。
●ベクタ形式とラスタ形式について
一般的にクリエイティブデザインの表現は、ラスタ形式とベクタ形式の2種類に分けられます。ベクタ形式は、文字や物体をどのように描画するかという情報を保存し、後から容易に人が再編集してデザインを画像に出力することが可能という特徴があります。（PowerPoint・Photoshop・Illustratorなどが該当）
一方、ラスタ形式では1ピクセル単位のドットが並ぶ事で描画をしており、拡大・変形によってズレやゆがみが生じるため、ラスタ形式で出力された画像は再編集することが難しいという特徴があります。（JPEG・PNGなどが該当）そのため、これまでの広告配信においては、配信されているラスタ形式のクリエイティブデザインは再編集して新たなデザインとして書き出したり再利用することが難しいという課題がありました。
■論文研究の概要
このような背景のもと、当社では一度ラスタ形式の画像として出力されたデザインに含まれる文字をPowerPoint・Photoshopなどの制作ツールで編集可能な「ベクタ形式」に戻す手法の開発に取り組み、研究を進めてまいりました。
今回ICCVに採択された論文「De-rendering Stylized Texts」※5 では、深層学習モデルを利用し、与えられた画像に含まれる文字領域を検出し、文字の種類、色やフォントといった描画に関する情報を推定する手法を開発し、提案しました。
本研究では文字の検出、背景領域の穴埋め、文字スタイルの推定を行うニューラルネットワークと、推定結果を使ってより精緻に入力画像を再構成できるように微分可能なテキストレンダリング最適化手法を提案しています。
今回提案する手法を用いることで、一度画像として出力されたクリエイティブデザインを容易に再利用して新たなデザインを制作したり、デザインの微調整をすることが可能になります。
▼本論文で提案している画像中の文字の再編集手法
▼本論文の提案手法によるベクタ形式でのデザイン再構成の様子
■今後
今回の提案手法は、当社が提供する「極予測AI」において、既存の広告効果の高いクリエイティブを再利用するような制作フローを可能にします。さらに、テキストやフォント・描画スタイルについても自動的に編集を行い、より効果の見込めるクリエイティブを探索する技術の開発への応用を行うことで、クリエイティブ制作に革新的なワークフローをもたらすことが期待できます。「AI Lab」は今後もAI技術を用いたクリエイティブ制作、自動生成技術をプロダクトに導入すべく、果敢に研究開発に努めてまいります。
出典
※1 「International Conference on Computer Vision」
※2 「Conference on Computer Vision and Pattern Recognition」
※3 「European Conference on Computer Vision」
※4 主著論文「CanvasVAE: Learning to Generate Vector Graphic Documents」についてはこちらのプレスリリースで詳細をご確認ください
※5 Wataru Shimoda, Daichi Haraguchi, Seiichi Uchida, Kota Yamaguchi, “De-rendering Stylized Texts”, ICCV 2021
今回の提案手法は、当社が提供する「極予測AI」において、既存の広告効果の高いクリエイティブを再利用するような制作フローを可能にします。さらに、テキストやフォント・描画スタイルについても自動的に編集を行い、より効果の見込めるクリエイティブを探索する技術の開発への応用を行うことで、クリエイティブ制作に革新的なワークフローをもたらすことが期待できます。「AI Lab」は今後もAI技術を用いたクリエイティブ制作、自動生成技術をプロダクトに導入すべく、果敢に研究開発に努めてまいります。
出典
※1 「International Conference on Computer Vision」
※2 「Conference on Computer Vision and Pattern Recognition」
※3 「European Conference on Computer Vision」
※4 主著論文「CanvasVAE: Learning to Generate Vector Graphic Documents」についてはこちらのプレスリリースで詳細をご確認ください
※5 Wataru Shimoda, Daichi Haraguchi, Seiichi Uchida, Kota Yamaguchi, “De-rendering Stylized Texts”, ICCV 2021