AI Lab、コンピュータグラフィックス分野の難関国際会議「Eurographics 2023」にて主著論文採択― 顔画像からの化粧パターンの自動抽出手法を提案 ―

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、人工知能技術の研究開発組織「AI Lab」に所属する研究員の楊興超、武富貴史らによる共著論文が、コンピュータグラフィックス分野の国際会議「Eurographics 2023（The 44th Annual Conference of the European Association for Computer Graphics）」※1 に採択されたことをお知らせいたします。なお、本論文は筑波大学の金森由博准教授との共同成果となります。

「Eurographics」は「SIGGRAPH/SIGGRAPH Asia」と同様にコンピュータグラフィックス分野における難関国際会議として位置づけられています。このたび採択された本論文は、2023年5月にドイツのザールラント大学（マックス・プランク情報学研究所と連携）で口頭発表を行うほか、コンピュータグラフィックス分野における著名な学術雑誌「Computer Graphics Forum」※2 へ掲載される予定です。


■背景
近年、インターネット広告市場の急速な成長に伴い、広告効果の最大化を目的に、AI技術を活用したクリエイティブ制作や運用の効率化が注目されています。なかでも、コンピュータグラフィックス（CG）技術は様々なクリエイティブ表現が可能であることから、広告制作の分野において活発に利用がされています。このような背景から、AI LabにおけるCG分野の研究チームでは、CG技術を活用したクリエイティブ制作支援技術の研究開発を行っています。
また、当社では、著名人の公式デジタルツインを制作しキャスティングするサービス「デジタルツインレーベル」を立ち上げるなど、デジタルヒューマン技術の研究開発および社会実装に注力しています。

「Makeup Extraction of 3D Representation via Illumination-Aware Image Decomposition」
Xingchao Yang, Takafumi Taketomi, Yoshihiro Kanamori
著者：楊興超（サイバーエージェント・筑波大学）・ 武富貴史（サイバーエージェント）・金森由博（筑波大学）

本研究では、1枚の顔写真から化粧のパターンを抽出することを目的としています。これまでも、顔画像から化粧のパターンを抽出し他の人物の顔へ転写するといった研究は多く存在していますが、基本的に2次元の画像を対象としており、デジタルヒューマンなどの3次元のアバターには適用が難しいという問題がありました。

そこで本研究では、3次元のコンピュータグラフィックスで一般的に用いられるテクスチャ（模様）パターンの表現方法であるUVマップという形式で化粧のパターンを抽出することを可能としました（図1）。図1に示すように、本研究で提案している手法を用いることによって、入力の写真を素肌、化粧、照明の各要素に分解することが可能となり、化粧が施された顔画像から素肌画像や照明効果を調整した画像などを生成することができます。

また、本手法によって化粧のパターンを抽出することが可能となるため、異なる照明条件や人物間での化粧の転写を実現することが可能です（図2）。既存研究に対する本研究の利点は、参照した化粧付き顔画像の照明条件や顔の向きの影響をあまり受けない点です。

さらに、様々な顔画像から化粧パターンを抽出し、化粧の統計的なパターンのモデルを構築し利用することで、図3のような化粧が施された顔画像からの3次元顔の復元などの応用も可能となります。化粧の統計モデルを用いることで、入力画像の特徴をより忠実に再現できていることが確認できます。

■今後
本研究の成果は、当社で取り組む「広告に用いるデジタルヒューマン」の演出技術として、関連するコンテンツの制作環境の効率化等に繋がることが期待できます。
「AI Lab」は今後もAI・CG技術を用いたクリエイティブ制作や研究開発を推進するとともに、フォトグラメトリー技術やデジタルヒューマン等CG制作を強みとする株式会社CyberHuman Productions等と共同開発を行い、デジタル空間だからこそ作ることができる表現・価値創造に挑戦してまいります。

※1 Eurographics 2023
※2 Computer Graphics Forum