株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、AI技術の研究開発組織「AI Lab」において、リサーチインターンシップ参加中の塩原楓（東京大学博士課程）およびAI Lab研究員の楊興超、武富貴史による論文が、コンピュータ・ビジョン分野の国際会議「ICCV 2023 (International Conference on Computer Vision)」※1 にて採択されたことをお知らせいたします。
「ICCV」は隔年開催されるコンピュータ・ビジョンおよび画像認識分野の国際会議で、「CVPR」※2「ECCV」※3 などと並び、本分野で最も権威のある学会の一つです。
この度採択された論文は、2023年10月にフランス・パリで開催される「ICCV 2023」で発表されます。
■背景
近年インターネット広告市場の急速な成長に伴い、広告効果の最大化を目的に、AI技術を活用したクリエイティブ制作や運用の効率化が注目されています。
なかでもコンピュータ・グラフィックス（CG）技術は様々なクリエイティブ表現が可能であることから、「AI Lab」におけるCG分野の研究チームでは、CG技術を活用したクリエイティブ制作支援技術の研究開発を行っています。
特に、著名人の公式デジタルツインを制作しキャスティングするサービス「デジタルツインレーベル」など実サービスでの技術応用を推進するなど、社会実装にも積極的に取り組んでいます。
■採択論文の概要
AI技術によって動画の中の人の顔などの一部を入れ替える技術は、映像制作など様々な領域での応用が期待され注目を集めています。特にフォトリアルなデジタルヒューマンを作成する際に、顔の質感を向上させる一手法としてCGの制作現場で利用されることがあります。
このような顔交換技術においてはターゲットとなる人物の画像の特徴（表情、顔向き、髪型、背景など）を維持しながら交換対象となる人物の顔画像（ソース画像）の特徴に置き換えることが必要となり、近年の深層学習の発展によって、高品位な顔交換が実現されつつあります。
しかしながら図1に示すように、既存の手法ではソース画像の顔特徴が顔交換後の顔画像の特徴と類似しているかを判定するために用いられるアイデンティティエンコーダが、顔以外の属性（髪型や顔の形など）も個人の顔特徴として捉えてしまうために、生成画像の品質が低下してしまうという問題がありました。
このたび採択された論文「BlendFace: Re-designing Identity Encoders for Face-Swapping」では、アイデンティティエンコーダを顔交換タスクのために再設計したBlendFaceを利用することで、顔以外の属性の転写を抑制しながらの顔交換が可能であることを示しました。
「ICCV」は隔年開催されるコンピュータ・ビジョンおよび画像認識分野の国際会議で、「CVPR」※2「ECCV」※3 などと並び、本分野で最も権威のある学会の一つです。
この度採択された論文は、2023年10月にフランス・パリで開催される「ICCV 2023」で発表されます。
■背景
近年インターネット広告市場の急速な成長に伴い、広告効果の最大化を目的に、AI技術を活用したクリエイティブ制作や運用の効率化が注目されています。
なかでもコンピュータ・グラフィックス（CG）技術は様々なクリエイティブ表現が可能であることから、「AI Lab」におけるCG分野の研究チームでは、CG技術を活用したクリエイティブ制作支援技術の研究開発を行っています。
特に、著名人の公式デジタルツインを制作しキャスティングするサービス「デジタルツインレーベル」など実サービスでの技術応用を推進するなど、社会実装にも積極的に取り組んでいます。
■採択論文の概要
AI技術によって動画の中の人の顔などの一部を入れ替える技術は、映像制作など様々な領域での応用が期待され注目を集めています。特にフォトリアルなデジタルヒューマンを作成する際に、顔の質感を向上させる一手法としてCGの制作現場で利用されることがあります。
このような顔交換技術においてはターゲットとなる人物の画像の特徴（表情、顔向き、髪型、背景など）を維持しながら交換対象となる人物の顔画像（ソース画像）の特徴に置き換えることが必要となり、近年の深層学習の発展によって、高品位な顔交換が実現されつつあります。
しかしながら図1に示すように、既存の手法ではソース画像の顔特徴が顔交換後の顔画像の特徴と類似しているかを判定するために用いられるアイデンティティエンコーダが、顔以外の属性（髪型や顔の形など）も個人の顔特徴として捉えてしまうために、生成画像の品質が低下してしまうという問題がありました。
このたび採択された論文「BlendFace: Re-designing Identity Encoders for Face-Swapping」では、アイデンティティエンコーダを顔交換タスクのために再設計したBlendFaceを利用することで、顔以外の属性の転写を抑制しながらの顔交換が可能であることを示しました。
本研究のアイデアは、顔画像の属性情報を入れ替えた場合においても同一人物であると識別できるようにアイデンティティエンコーダを再設計することです。
図2左は従来の研究でよく用いられるアイデンティティエンコーダであるArcFaceに対して本人同士（赤）、本人と他人（青）、本人と属性情報を入れ替えた顔交換画像（黄）の類似度の分布を示したものです。顔交換画像に関しては、基本的に属性情報のみが変化しているにも関わらず、類似度が低下していることが分かります。
これに対して、疑似的に属性情報を入れ替えた顔画像を含めてアイデンティティエンコーダを学習させることで図2右に示すような属性情報を変化させた場合においても、本人同士の画像を比較した場合と同様の類似度算出結果を得ることができるようになります。
本研究では疑似的に属性情報を入れ替える際に画像処理におけるブレンディング（Blending）処理を用いていることから、再設計したアイデンティティエンコーダをBlendFaceと名付けています。
本人同士の類似度（赤）、本人と他人の類似度（青）、本人と顔交換画像の類似度（黄）。右に行くほど類似度が高い。
図3は既存の顔交換手法とBlendFaceの比較結果を示したものです。
既存の手法では、ソース画像とターゲット画像との間で髪型や頭の形が大きく異なる場合に精度が低くなりがちであるのに対し、提案手法ではターゲット画像の表情、顔向き、視線などを維持しながら忠実度の高い顔交換結果を得ることができています。
■今後
本研究の成果は、当社で取り組む「広告に用いるデジタルヒューマン」の品質技術として、関連するコンテンツの制作環境の効率化等に繋がることが期待できます。
「AI Lab」は今後もAI・CG技術を用いたクリエイティブ制作や研究開発を推進するとともに、デジタル空間だからこそ作ることができる表現・価値創造に挑戦してまいります。
※1 「International Conference on Computer Vision」
※2 「Conference on Computer Vision and Pattern Recognition」
※3 「European Conference on Computer Vision」
本研究の成果は、当社で取り組む「広告に用いるデジタルヒューマン」の品質技術として、関連するコンテンツの制作環境の効率化等に繋がることが期待できます。
「AI Lab」は今後もAI・CG技術を用いたクリエイティブ制作や研究開発を推進するとともに、デジタル空間だからこそ作ることができる表現・価値創造に挑戦してまいります。
※1 「International Conference on Computer Vision」
※2 「Conference on Computer Vision and Pattern Recognition」
※3 「European Conference on Computer Vision」