3DCGエンジニアが加速させる
「本物の人間と見まがう」
デジタルツインレーベルの表現力

── 3DCGの知見を活かせる就職先として、サイバーエージェントを選んだ理由を教えてください。

早稲田大学 森島研究室とサイバーエージェントによる「デジタルヒューマンに関する共同研究」に森島研究室の学生として在籍していた事がきっかけです。森島研究室は最先端のコンピュータビジョン・CG技術を研究していて、私は「物理学」を専攻しながら実際にCGを描画する技術である「レンダリング」の研究をしていました。森島研究室との繋がりから、サイバーエージェントでどのようにAI・CG技術が活用されているのか見学をしたり、働く方々の話を聞く機会に触れました。

在学中、将来の事を考える際に「将来は3DCGを活用して、生活やビジネスに役立ててみたい」という事を意識していました。だからこそ、サイバーエージェントが目指していた「AIと3DCGのかけ合わせは、全ての産業に影響を与える」という考えに惹かれ、入社を決めました。

現在は入社前からつながりがあった、AICG事業でAI/CGエンジニアをしています。

── 今はどんな仕事をしていますか？

AICG事業では「デジタルツインレーベル」の開発を担当しています。デジタルツインとは、実在する人や物体に対して、撮影機材を活用してフルスキャンし、撮影データをもとに3DCGで再現する技術です。デジタル上で再現した姿は、まるで鏡に写った自分を見るようなので、デジタルツイン(デジタルの双子)と呼ばれています。

こちらの動画をご覧いただけると、より具体的な理解ができます。

── 最近関わった開発で、特にやりがいを感じた仕事は何ですか？

特に手応えを感じたのが、3DCG制作ソフト「Maya」用のLook Developmentツールの開発によって、チームの3DCG制作スピードが飛躍的に向上した事です。

Look Development(Look Dev)とは、作成した3DCGの色味や質感を、ハイクオリティに仕上げる作業です。この工程では、3DCGアーティストが多岐にわたるパラメータ調整を、綿密なテクニックで作り上げるので、高いスキルや習熟度が求められます。

「デジタルツイン」の制作において、3DCGアーティストのスキルが、最終的な仕上がりの高さに大きく影響しますが、そのレベルに至るまでの時間も膨大です。

そこで、制作チームにヒアリングを重ね、ルーチン化している作業や煩雑な作業を洗い出し、自動化するツールを開発しました。これにより、一連の3DCG制作をスピーディーに、経験の浅い3DCGアーティストでも扱えるようになりました。

── 自動化ツールによる工数削減は、プロダクトにどのようなメリットをもたらしますか？

自動化と聞くと、時間や工数の削減に目がいきがちです。しかし、私が目指したのは「3DCGの表現力を高い領域に引き上げる」事です。

個人的には、実写に寄せた3DCGをユーザーが見た時に「これはCGかも」という違和感をなくすのが理想です。そのためには、3DCGアーティストの高い表現力が求められます。

効率化や自動化の目的は、3DCG制作の過程で人間がやらなくても良いルーチンワークを極力減らす事です。その結果、人の手によって高い表現力の発揮に時間を費やしてもらうのが狙いです。

── 3DCGにおいて「表現力が高い」とは何ですか？

ロボットやコンピュータグラフィックスの世界では「不気味の谷」という言葉があります。その「不気味の谷」も、一枚の静止画であればほとんど感じないレベルまでCG技術は進化してきました。いわば「不気味の谷を超えた」状態と言えます。

しかし、動画になるとその違和感を感じてしまいがち。制作レベルや視聴者の感覚が、次のフェーズに進んだからこそ、また新たな「不気味の谷」があらわれたとも言えます。

3DCGアーティストに注力してもらうポイントとして、例えば「目」と「皮膚」に力をいれてもらうなど。人は、日頃から色々な人と顔を合わせているため、目や表情の認識にとても敏感です。3DCGで人の顔を模倣したとしても、感情を形作る「目の動き」や、表情があらわれる「皮膚のつっぱりや緊張感」のクオリティが低いと、「あれ？なんかこの人、違和感あるなぁ。」とか「表情が人間っぽくなくて違和感あるかも。」と感じてしまいます。

3DCGにおける表現力の高さとは、「自分の考えや感情を他者に分かりやすく伝える力」でもあります。

AIは素晴らしい技術ですが、それ単体では表情や雰囲気で伝わる微妙なニュアンスの違いを任せられる程まだ進化していません。だからこそ、AIによる力も借りつつ最後には「人の手による表現力の高さ」が求められます。

それを最大限引き出すためにも、エンジニアリングやAIで貢献したいと思っています。
 

── AICG事業で働く事の醍醐味を教えて下さい。

AICG事業は、3DCGの制作力だけで勝負していません。3DCGに何をブレンドしていくのかが重要です。例えば、インターネット広告事業のブランディング力やキャスティング力、それから優れたエンジニアやデータサイエンティストが多数所属している強みなど。サイバーエージェントらしい事業の幅広さを活かして勝負していくつもりです。

特に、エンジニアやデータサイエンティストが多数所属している事が強みになっているのを実感しています。

通常、CG業界では3DCGアーティストなどデザイン系のメンバーと、エンジニアの人数比は9:1ぐらいが一般的です。経験豊富な3DCGアーティストの力量や表現力に支えられている反面、自動化やシステム化は後手に回っている面もあります。

それに対し、AICG事業では1:1の人数比です。プロジェクトによっては1人の3DCGアーティストに1人のエンジニアがサポートでつき、求められたツールを即座に作成するような態勢も可能です。エンジニアリングやAIを活用した自動化によって、クオリティの高い制作物をスピーディーに制作することができるのは、大きな強みです。

特に、俳優やアーティストを起用したナショナルブランディング広告で、レベルの高い広告クリエイティブを、視聴者の志向にあわせてフレキシブルに制作できる「デジタルツインレーベル」のビジネスモデルに可能性を感じています。

── 最近は、どんな技術的な課題にチャレンジしてみたいと思っていますか？

デジタルツインを制作する上で、3DCGだけで「本物の人間と見まがう」ような表現は、まだまだ難しい事も事実です。

人間の目は電磁波のうち、ある特定の範囲の波長の電磁波だけを可視光線として認識しています。自然界における可視光線や周波数や波長といった複雑な要素で表現されている現実世界を、コンピューターに用いられるRGBという三原色モデルに落とし込むのが3DCGです。色に関する基本原理の違いによって、どうしても見え方は変わってきます。

3DCGは車や建物のような無機質な物体の表現は得意ですが、人や動物など生物に関してはまだ表現力が足りません。もし、3DCGだけで作成した冨永愛さんのCMを、芸能関係の方に見せたら、恐らく「うーん、CGですね」と言われてしまうと思います。

そこを補うためにAIを活用します。「この角度から見た冨永さんはこういう風に見える」といったことを機械学習するために、実際の冨永愛さんの画像を大量に学習したAIを用意し、3DCGの上から着色させる。ご本人の魅力や自然なテイストを加えることで、より表現力を高めるという技術的なとりくみです

── 学生にとって、AIを活用した制作支援ツールや3DCG制作ソフトが以前よりも身近に扱える時代になりました。チュートリアルや制作過程も動画で公開され、習得コストも大幅に下がっている時代です。だからこそ、在学中にやっておくべき事は何でしょうか？

就職して実感したのは、業務で3DCGに関して開発していると、そのプログラムやコードが裏側で数学・物理学的にどんな処理をしているのかをあまり考えなくなる点です。開発スピードやタスクの優先度、レイヤーの異なる技術課題に向き合ったりする等、背景は様々です。

ただ、3DCGにおいては、解決力を問われる高レベルの技術課題や、前例のない技術についての検証を行う事が多々あります。そんな時、物理法則や光学の知識、コンピューターのレンダリングの仕組みが、問題解決の鍵になったりもします。

そういったアカデミックな知識を手に入れられるのは、まさに学生時代だと思います。

私は大学と大学院でずっと物理をやってきて、頭から爪先まで数学や微分積分にどっぷり浸かった生活を送っていました。コンピューターやアルゴリズムの中で起きている事を理解し、自分が開発したものが適切な処理をしているのかを考え検証する事は、物理と数学の知識なしではできませんでした。

業務的なエンジニアリングスキルやプログラミングテクニックは、開発経験を積むことで身についていくはずです。

でも会社で働きながら、物理や数学などのアカデミックな知識を身に付けるのは、正直難しい。仕事の片手間で身に付くほど易しい分野ではない気がします。

もし私が、今の学生にアドバイスできる事があるとしたら、在学中だからこそ学べる知識を地道に積み上げる事をおすすめしたいです。積み上げた知識はきっと、業務で難解な技術課題に立ち向かうための、強力な武器になるはずだからです。