3DCGエンジニアが加速させる
「本物の人間と見まがう」
デジタルツインレーベルの表現力

技術・デザイン

著名人のデジタルツインをキャスティングするサービス「デジタルツインレーベル」。公式3DCGモデルを制作・管理し、デジタル空間でのタレント活動を促進するサービスとして大きな話題を呼びました。実際にサービス開発を行うAI事業本部 AICG事業には、多数の3DCGクリエイターやエンジニアが在籍しています。3DCGの表現力を高める事をミッションにしているエンジニアにインタビューしました。

Profile

  • 久家 隆宏
    2021年に新卒入社。大学院時代は早稲田大学 応用物理学科 森島研究室にてCGレンダリングについて研究。現在は、AICG事業/CyberHuman Productionsのデジタルツインレーベルに所属し、エンジニアとしてAI・CGの両分野で研究開発に従事。

「AIと3DCGのかけ合わせは、
全ての産業に影響を与える」に惹かれて

── 3DCGの知見を活かせる就職先として、サイバーエージェントを選んだ理由を教えてください。

早稲田大学 森島研究室とサイバーエージェントによる「デジタルヒューマンに関する共同研究」に森島研究室の学生として在籍していた事がきっかけです。森島研究室は最先端のコンピュータビジョン・CG技術を研究していて、私は「物理学」を専攻しながら実際にCGを描画する技術である「レンダリング」の研究をしていました。森島研究室との繋がりから、サイバーエージェントでどのようにAI・CG技術が活用されているのか見学をしたり、働く方々の話を聞く機会に触れました。

在学中、将来の事を考える際に「将来は3DCGを活用して、生活やビジネスに役立ててみたい」という事を意識していました。だからこそ、サイバーエージェントが目指していた「AIと3DCGのかけ合わせは、全ての産業に影響を与える」という考えに惹かれ、入社を決めました。

現在は入社前からつながりがあった、AICG事業でAI/CGエンジニアをしています。

── 今はどんな仕事をしていますか?

AICG事業では「デジタルツインレーベル」の開発を担当しています。デジタルツインとは、実在する人や物体に対して、撮影機材を活用してフルスキャンし、撮影データをもとに3DCGで再現する技術です。デジタル上で再現した姿は、まるで鏡に写った自分を見るようなので、デジタルツイン(デジタルの双子)と呼ばれています。

こちらの動画をご覧いただけると、より具体的な理解ができます。

DigitalTwinLabel - Ai Tominaga /Cyberagent

「デジタルツインレーベル」のミッションは、所属するデジタルツインが本人に代わって、デジタル空間で幅広く活躍するのを支援する事です。私たちのチームが制作しているのは、俳優やアーティストの分身となる公式のデジタルツインです。

── なぜ、俳優やアーティストを3D化するのですか?

俳優やアーティストを起用した広告は、本人をキャスティングし、長時間の収録をした上で、映像に編集を加えて完成させるのが、従来の制作フローです。基本的には1つの広告を作るために、関係者のアサイン・スケジュールの調整・撮影まで全て行う必要があります。

その一方、インターネット広告は、スピーディーに広告クリエイティブの複数バリエーションを制作し、運用/改善し続けることが重要です。

例えば、ユーザーの世代や性別や志向に沿って類型化したパターンを制作し、目に触れる広告クリエイティブをパーソナライズドすることで、ユーザーはより広告をクリックしようという気持ちが高まります。

同じWebメディアに出てくる同じ商品広告であったとしても、私と一回り上の世代では、表示される広告クリエイティブは違っている可能性もあります。更に、広告効果によってクリエイティブは日々改善されるので、上記の2人が1週間後に同じ広告を見ることはないかもしれません。

こういった広告戦略は移り変わりの激しいインターネット広告の特徴で、AI事業本部では「極予測AI」というプロダクトを活用し、広告クリエイティブの運用を行っています。

── とすると、過密なスケジュールやアサインコストが高い、俳優やアーティストの場合、再撮影が難しいので、広告効果に応じてクリエイティブの改善がしづらい可能性があると。

まさにその通りです。ましてや毎週の効果測定に沿って撮影し続けるのは不可能です。

そこで、3DCGデータで制作されたデジタルツインを活用する事で、俳優やアーティストの広告クリエイティブパターンを無数に展開できる可能性を示しているのが「デジタルツインレーベル」です。広告効果が向上する事で、俳優やアーティストに利益を還元できるのがビジネスモデルです。

「3DCGにおける表現力の高さ」を支える
エンジニアリング

── 最近関わった開発で、特にやりがいを感じた仕事は何ですか?

特に手応えを感じたのが、3DCG制作ソフト「Maya」用のLook Developmentツールの開発によって、チームの3DCG制作スピードが飛躍的に向上した事です。

Look Development(Look Dev)とは、作成した3DCGの色味や質感を、ハイクオリティに仕上げる作業です。この工程では、3DCGアーティストが多岐にわたるパラメータ調整を、綿密なテクニックで作り上げるので、高いスキルや習熟度が求められます。

「デジタルツイン」の制作において、3DCGアーティストのスキルが、最終的な仕上がりの高さに大きく影響しますが、そのレベルに至るまでの時間も膨大です。

そこで、制作チームにヒアリングを重ね、ルーチン化している作業や煩雑な作業を洗い出し、自動化するツールを開発しました。これにより、一連の3DCG制作をスピーディーに、経験の浅い3DCGアーティストでも扱えるようになりました。

── 自動化ツールによる工数削減は、プロダクトにどのようなメリットをもたらしますか?

自動化と聞くと、時間や工数の削減に目がいきがちです。しかし、私が目指したのは「3DCGの表現力を高い領域に引き上げる」事です。

個人的には、実写に寄せた3DCGをユーザーが見た時に「これはCGかも」という違和感をなくすのが理想です。そのためには、3DCGアーティストの高い表現力が求められます。

効率化や自動化の目的は、3DCG制作の過程で人間がやらなくても良いルーチンワークを極力減らす事です。その結果、人の手によって高い表現力の発揮に時間を費やしてもらうのが狙いです。

── 3DCGにおいて「表現力が高い」とは何ですか?

ロボットやコンピュータグラフィックスの世界では「不気味の谷」という言葉があります。その「不気味の谷」も、一枚の静止画であればほとんど感じないレベルまでCG技術は進化してきました。いわば「不気味の谷を超えた」状態と言えます。

しかし、動画になるとその違和感を感じてしまいがち。制作レベルや視聴者の感覚が、次のフェーズに進んだからこそ、また新たな「不気味の谷」があらわれたとも言えます。

3DCGアーティストに注力してもらうポイントとして、例えば「目」と「皮膚」に力をいれてもらうなど。人は、日頃から色々な人と顔を合わせているため、目や表情の認識にとても敏感です。3DCGで人の顔を模倣したとしても、感情を形作る「目の動き」や、表情があらわれる「皮膚のつっぱりや緊張感」のクオリティが低いと、「あれ?なんかこの人、違和感あるなぁ。」とか「表情が人間っぽくなくて違和感あるかも。」と感じてしまいます。

3DCGにおける表現力の高さとは、「自分の考えや感情を他者に分かりやすく伝える力」でもあります。

AIは素晴らしい技術ですが、それ単体では表情や雰囲気で伝わる微妙なニュアンスの違いを任せられる程まだ進化していません。だからこそ、AIによる力も借りつつ最後には「人の手による表現力の高さ」が求められます。

それを最大限引き出すためにも、エンジニアリングやAIで貢献したいと思っています。
 

3DCGエンジニアが加速させる
「本物の人間と見まがう」表現力

── AICG事業で働く事の醍醐味を教えて下さい。

AICG事業は、3DCGの制作力だけで勝負していません。3DCGに何をブレンドしていくのかが重要です。例えば、インターネット広告事業のブランディング力やキャスティング力、それから優れたエンジニアやデータサイエンティストが多数所属している強みなど。サイバーエージェントらしい事業の幅広さを活かして勝負していくつもりです。

特に、エンジニアやデータサイエンティストが多数所属している事が強みになっているのを実感しています。

通常、CG業界では3DCGアーティストなどデザイン系のメンバーと、エンジニアの人数比は9:1ぐらいが一般的です。経験豊富な3DCGアーティストの力量や表現力に支えられている反面、自動化やシステム化は後手に回っている面もあります。

それに対し、AICG事業では1:1の人数比です。プロジェクトによっては1人の3DCGアーティストに1人のエンジニアがサポートでつき、求められたツールを即座に作成するような態勢も可能です。エンジニアリングやAIを活用した自動化によって、クオリティの高い制作物をスピーディーに制作することができるのは、大きな強みです。

特に、俳優やアーティストを起用したナショナルブランディング広告で、レベルの高い広告クリエイティブを、視聴者の志向にあわせてフレキシブルに制作できる「デジタルツインレーベル」のビジネスモデルに可能性を感じています。

── 最近は、どんな技術的な課題にチャレンジしてみたいと思っていますか?

デジタルツインを制作する上で、3DCGだけで「本物の人間と見まがう」ような表現は、まだまだ難しい事も事実です。

人間の目は電磁波のうち、ある特定の範囲の波長の電磁波だけを可視光線として認識しています。自然界における可視光線や周波数や波長といった複雑な要素で表現されている現実世界を、コンピューターに用いられるRGBという三原色モデルに落とし込むのが3DCGです。色に関する基本原理の違いによって、どうしても見え方は変わってきます。

3DCGは車や建物のような無機質な物体の表現は得意ですが、人や動物など生物に関してはまだ表現力が足りません。もし、3DCGだけで作成した冨永愛さんのCMを、芸能関係の方に見せたら、恐らく「うーん、CGですね」と言われてしまうと思います。

そこを補うためにAIを活用します。「この角度から見た冨永さんはこういう風に見える」といったことを機械学習するために、実際の冨永愛さんの画像を大量に学習したAIを用意し、3DCGの上から着色させる。ご本人の魅力や自然なテイストを加えることで、より表現力を高めるという技術的なとりくみです

3DCG業界を目指す学生が、
在学中に手にできる武器とは?

── 学生にとって、AIを活用した制作支援ツールや3DCG制作ソフトが以前よりも身近に扱える時代になりました。チュートリアルや制作過程も動画で公開され、習得コストも大幅に下がっている時代です。だからこそ、在学中にやっておくべき事は何でしょうか?

就職して実感したのは、業務で3DCGに関して開発していると、そのプログラムやコードが裏側で数学・物理学的にどんな処理をしているのかをあまり考えなくなる点です。開発スピードやタスクの優先度、レイヤーの異なる技術課題に向き合ったりする等、背景は様々です。

ただ、3DCGにおいては、解決力を問われる高レベルの技術課題や、前例のない技術についての検証を行う事が多々あります。そんな時、物理法則や光学の知識、コンピューターのレンダリングの仕組みが、問題解決の鍵になったりもします。

そういったアカデミックな知識を手に入れられるのは、まさに学生時代だと思います。

私は大学と大学院でずっと物理をやってきて、頭から爪先まで数学や微分積分にどっぷり浸かった生活を送っていました。コンピューターやアルゴリズムの中で起きている事を理解し、自分が開発したものが適切な処理をしているのかを考え検証する事は、物理と数学の知識なしではできませんでした。

業務的なエンジニアリングスキルやプログラミングテクニックは、開発経験を積むことで身についていくはずです。

でも会社で働きながら、物理や数学などのアカデミックな知識を身に付けるのは、正直難しい。仕事の片手間で身に付くほど易しい分野ではない気がします。

もし私が、今の学生にアドバイスできる事があるとしたら、在学中だからこそ学べる知識を地道に積み上げる事をおすすめしたいです。積み上げた知識はきっと、業務で難解な技術課題に立ち向かうための、強力な武器になるはずだからです。

リサーチインターンシップ2022

AI Lab、博士課程の学生を対象としたテーマ選択式「リサーチインターンシップ2022」の募集を開始

AI事業本部の募集一覧はこちらをご参照ください

この記事をシェア

オフィシャルブログを見る

記事ランキング

「アクセシビリティ向上 は “崇高なもの” ではない」
意識せずに取り組める状態を創るために、組織に必要なこと

技術・デザイン

2022年5月19日に開催される「GAAD JAPAN 2022」 世界各地でアクセシビリティを考えるこの日、同カンファレンスで「ABEMA」Webフロントエンドエンジニア 久保田が登壇します。サイバーエージェントの次世代Developer ExpertsであるNext Expertsにも就任し、社内のアクセシビリティ向上の旗振り役として活動する久保田に、そのきっかけや具体的な取り組み、目指す先について聞きました。

Page Top