世界初、デジタルヒューマンによる「感動体験」を目指して ー森島研究室と創り出すCG技術の未来ー

技術・デザイン

CG技術を活用し、次世代のクリエイティブ表現を実現する「極予測AI人間」「デジタルツインレーベル」。リリース直後から反響を呼んだ本サービス実現の背景には、4年前から取り組んでいる産学連携・CG研究組織の強化があります。

タッグを組んでいるのは、最先端のコンピュータビジョン・CG技術を牽引する第一線の研究室として注目をされている早稲田大学 森島研究室。

企業と大学だけの関係に留まらない両者が考えるCG技術の未来、目指す「世界初」の研究とは。

【毛利】今日はよろしくお願いします。改めて森島先生とは、失礼ながら大学・企業の関係というよりは、同じ未来を目指す仲間みたいな気持ちで勝手にいます。本当にあの当時出会っていなかったら、当社のCG領域における事業は無いのではないかなと思うほど…。まさに、羅針盤・コンパスのような存在で、感謝してもしきれないです。

【森島】確かに関係性の濃さで言うと、月2回の頻度でミーティングをやっているのは、御社だけです(笑)でも楽しいんですよ。ただ単に真面目な研究、だけで終わらない関係。前向きに一緒に未来を目指しつつ、楽しめるような研究のあり方が好きなので、僕としてもありがたいです。

始まりはTwitterのDM。CG技術を牽引する森島研究室との出会い

【毛利】先生との始まりは…サイバーエージェントがCGに力を入れはじめた4年前、当時の担当者が森島先生にTwitterでDMをさせてもらったのがきっかけでした。その頃僕らCGの組織はまだ3~4名で、何もないところからスタートした状況で。
森島研究室はCG界隈でとても有名な研究室でしたし、実際に国際トップカンファレンスで論文を通す優秀な学生さんも多数在籍していて、是非タッグを組ませていただきたくて、思わずご連絡をしました。

【森島】サイバーエージェントがCGをやろうとしていたことを全然知らなかったので連絡をもらった時はびっくりでしたね(笑)

【毛利】インターネット広告の未来を考えたときに、CGを使った新たな表現や価値体験の提供が不可欠になることは予測していたものの、正直、どうやってやったらいいか分からないし、でもやりたい気持ちはあるんですという意欲だけは強くて。
あの段階でよく共同研究を受けていただけたなと、今だから話せます。先生、なぜ引き受けていただけたのでしょうか?(笑)

【森島】僕が共同研究を受ける際の基本スタンスとして、その研究が最先端の論文につながるのか・最新技術を追いかけられるのか、という目線を大事にしています。サイバーエージェントと話しているうちに、僕らも最先端を追いかけつつ貢献できそうな雰囲気を感じたので、オーケーしたという感じですね。

 森島 繁生氏      /    早稲田大学 理工学術院 教授  
1987年東大・工・大学院電子工学専門課程博士修了、工学博士。2004年より、早稲田大学先進理工学部応用物理学科教授を務める。また、2018年10月より早稲田大学理工学研究所において安全、安心な社会を実現し豊かな文化を創造するコンテンツ・映像処理技術研究プロジェクトを推進。これまで、1991年に電子情報通信学会業績賞、2010年電気通信普及財団テレコムシステム技術賞を受賞。 
2020年芸術科学会第19回CG Japan Award、最先端表現技術利用推進協会第4回羽倉賞フォーラムエイト賞、WISS2020最優秀論文賞、他多数受賞。
森島 繁生氏   /  早稲田大学 理工学術院 教授
1987年東大・工・大学院電子工学専門課程博士修了、工学博士。2004年より、早稲田大学先進理工学部応用物理学科教授を務める。また、2018年10月より早稲田大学理工学研究所において安全、安心な社会を実現し豊かな文化を創造するコンテンツ・映像処理技術研究プロジェクトを推進。これまで、1991年に電子情報通信学会業績賞、2010年電気通信普及財団テレコムシステム技術賞を受賞。
2020年芸術科学会第19回CG Japan Award、最先端表現技術利用推進協会第4回羽倉賞フォーラムエイト賞、WISS2020最優秀論文賞、他多数受賞。

【毛利】今でこそメンバーや機材/設備なども揃いつつありますが、本当に当時はゼロベースで提案内容も全然固まっていなかったと思います。

【森島】そこが逆に良かったんですよね。具体的にこれをやってくださいとか、これを開発してくださいとか、具体的な課題があると一緒にできることの限界を感じますが、当時はとにかく自由な雰囲気を感じて。あとはサイバーエージェントに対して、元気で前向きな企業というイメージがあって何か未来につなげられるんじゃないか・面白そうだなって直感的に思ったところもありました。

【毛利】ありがとうございます。僕らとしても、最先端を追いかけつつも、きちんと実用化・社会にどう応用するかを考えていらっしゃる先生の考えは印象的でした。企業としては、最終的には社会でどう使われるかがすごく大事なので、その感覚を持っている先生と一緒にやらせてもらえること、非常にありがたかったです。

【森島】実際、基礎研究と繰り返し言ってるけれども、最終的には「人を幸せにする」とか、「世界初で感動をもたらす」というレベルのものがやりたい。既存の組み合わせで、即席の結果じゃなくて、出す以上は、ここには世界初があるよと言いたいですよね。
そのためには相当なパワーが必要ですが、サイバーエージェントには何か目標が定まったら、「えいやっ」て、きっとすごい組織をつくり上げることができるという期待があるんです。もし実用化になったら、ぐっといけるかなって思いましたし、実際にそうでしたね(笑)
 

踏み出した社会実装の第一歩。目指すのは、「不気味の谷」を超えた新たな感動体験

【毛利】共同研究がスタートして、基本的にはデジタルヒューマンに関する研究をずっと一緒にさせてもらっています。森島研究室の山口周悟さんが発表した2018年の研究をベースに最初は​​3DCGのテクスチャ生成から始めました。ここで培った研究は、実際のサービス「極予測AI人間」や「デジタルツインレーベル」にも応用することができました。

改めて、先生との取り組みが実サービスとして社会実装できて感慨深いですね。先生の的確な技術的アドバイスが、両サービスにおける「人間らしさの追求」に応用できたことで、表現の幅や質感のクオリティが格段に上がりました。

【森島】反響結構ありましたか?最近だと、NeRF(Neural Radiance Field:自由視点画像生成に関わるアルゴリズム)の研究にも力を入れていますよね。

【毛利】はい、おかげさまで既にたくさんの問い合わせが来てます!NeRFは「デジタルツインレーベル」はもちろんのこと、カムロ坂スタジオで展開している「LED STUDIO」や、「FUTUR EEVENT Basics」などのCG/バーチャル撮影サービスへの活用も狙っていけると面白そうだなと思っています。
また、今後はモーションの自動生成など、深層学習を使って効率的にクオリティの高いデジタルヒューマンを制作していくことも目指したいです。 
 

 LED STUDIO  
巨大LEDウォールにより、高精細なCG背景空間で撮影可能なシステム 
 FUTUR EEVENT Basics  
3DCG・XR技術を用いた高クオリティなバーチャル会場でのイベント開催を起点とした新しいマーケティングソリューション
LED STUDIO
巨大LEDウォールにより、高精細なCG背景空間で撮影可能なシステム
FUTUR EEVENT Basics
3DCG・XR技術を用いた高クオリティなバーチャル会場でのイベント開催を起点とした新しいマーケティングソリューション

【毛利】事業展開の幅は広がりましたが、先生との大テーマである「CGをいかに人らしく見せるか」は本当に奥が深い。改めて、デジタルヒューマンを生きているように見せるってすごく難しいですよね。

【森島】だいぶクオリティーが上がって来ているけど、実際、息吹を感じられるかとか、これが生きているか生きていないかの判断がつかないレベルまでいくには、まだまだ不気味の谷を超える必要がある。
不気味の谷の出口を一歩踏み出すところがすごく重要で、最終的には人にどう信じ込ませるか、感動をもたらすか、を考えなきゃいけない。それこそオーラをどうやって表現するかとか、その辺の一足先の感動を突き詰めるのはAIの出番。これからそこをやっていきたいですよね。

【毛利】一歩越えた感動のところでの僕らの挑戦としては、まさに先日出した「デジタルツインレーベル」ですよね。著名人をCG化しキャスティングする事業ですが、例えば俳優さんは役になりきってお芝居をして感動を与える、スポーツ選手だと試合を通して熱狂を生み出す、というのをやっている人たちが、デジタルのコピーロボットになった時、同じように感動を与えられるかというチャレンジでもあると思うんです。森島先生が目指しているところと近い思想だと思いました。
 

DigitalTwinLabel - Ai Tominaga /Cyberagent

【森島】まさにそうですよね。でもそれは多分、企業に余力がないとできないと僕は思っていて。
例えば今、日本で一番のデジタルヒューマンの研究組織をつくれるところはどこかといったときに、唯一思い浮かぶのはサイバーエージェント。企業としてきちんと研究もやっているから。実際、山口光太さんとか、基礎研究をやっているじゃないですか。今年もICCVを通しているし、ああいう方が会社の中で活躍できる環境ってすごく魅力的だと思っています。

実は、今まで企業に森島研から学生を送り込むという発想は全くなかったんですよ。そもそも民間企業へ行って研究できるというチャンスがないですから。今年、森島研の学生が就職先としてサイバーエージェントに入社したのは特に嬉しかったですね。

基礎研究もやらせてもらえるし、それを実際のものにつなげていく現場のスタッフも揃っているし、環境としてすごく幅が広く、余力がありますよね。

 毛利 真崇      /   サイバーエージェント AI事業本部 AIクリエイティブDiv 統括  
2005年サイバーエージェント入社。広告代理事業の営業に従事した後、セントラルアカウントデザイン室を立ち上げ、広告プロダクトのアルゴリズム解析および運用設計、自動化ツールのプロダクトマネージャーを担当。2017年にAIクリエイティブセンターを立ち上げ、現在はAI事業本部AIクリエイティブDivにて、AIや3DCGを活用した広告クリエイティブの自動生成の研究を行っている。
毛利 真崇   /   サイバーエージェント AI事業本部 AIクリエイティブDiv 統括
2005年サイバーエージェント入社。広告代理事業の営業に従事した後、セントラルアカウントデザイン室を立ち上げ、広告プロダクトのアルゴリズム解析および運用設計、自動化ツールのプロダクトマネージャーを担当。2017年にAIクリエイティブセンターを立ち上げ、現在はAI事業本部AIクリエイティブDivにて、AIや3DCGを活用した広告クリエイティブの自動生成の研究を行っている。

【毛利】会社としても、今CG領域に投資をしています。将来これができたらすごい革命が起きて、そこで僕らがもう一歩上に行ける、レベルアップできるなという感覚があるので。
研究も、一般的な企業がやっているような研究組織というよりは、本当に社会の実装を目指して、かつ最新技術を追い、基礎研究もできる組織になっていくといいなと思っているので、こうしたら価値が出るかもしれないよというのをもっと僕らが考えなきゃいけないし、それをもっと研究者にも共有しなきゃいけない。
研究者が必要なデータを、もっともっとビジネスの僕らが集めて揃えていくことは、積極的に取り組んでいきたいなと思いますね。

【森島】その姿勢と、データを取れる環境というのは改めて大事。本当にAIは、データが取れるか取れないかの勝負なので。
 

森島研究室×サイバーエージェントでデジタルヒューマンのブレイクスルーにチャレンジ

【毛利】これからどんなことを一緒にできると面白そうでしょうか。
僕としては、すでにある技術を活用していくというよりは、自分たちでその世界に向かっていくべく、一から深層学習のような発展的な技術を使って、研究開発をしていきたい。その未来を“つくる側”になりたいなと思っています。

【森島】AIの進歩はすごく早いので、多分、3年~5年ぐらいでいけそうな気もしますね。ただ難しいのは、正解が分からないので、結局、魅力的とかオーラといった、ぞくっとくる要素はラベリングが難しいじゃないですか。
正解データがないから、そこは何かしら教師なしデータでやるしかなくて、いっぱい収録した映像ソースを解析して、ぞくっとくる要素を見出すのは、まさにAIの仕事ですよね。
 

【毛利】そうですね。そしてちょっとずつでいいので深層学習に基づいてデジタルヒューマンを自由に動かすというところに注力して、社会で使える技術にしていきたいですね。

サイバーエージェントの組織でいうと、AIで動かすというところは人材がまだまだ足りないので、有識者の方や、若くてやる気のあるエンジニア、研究者など、仲間をもっと集める必要があります。あとデータですよね。特徴のある芸能人やスポーツ選手など、もっとたくさんのデータやモーショングラフィックを集めて、それを研究者に提供できる環境を用意して、社会で使える技術の研究を、これから僕らがやらなきゃいけないと思ってます。

【森島】そこができてくると、ぐっとCGで出来ることの未来が広がりますね。さらに研究を底上げする仕組みを、一緒に作りたいですね。研究のパフォーマンスを一定に保ちつつ、ブーストをかける仕組みがあると良さそうです。

【毛利】ちょうど先日、「デジタルヒューマン研究センター」の設立を発表しました。まさにこれが、CG研究をブーストさせる1つのきっかけになるのではと楽しみです。

【森島】サイバーエージェントの「えいやっ」て目標を決めてからの立ち上げ力、期待してますよ。
 

この記事をシェア

公式SNSをフォロー

  • Facebook
  • Twitter
  • Instagram
  • Line

記事ランキング

エンジニア・クリエイター発
ダイバーシティ推進プロジェクト「CAlorful」が誕生

技術・デザイン

2021年2月、技術者版あした会議での提案がきっかけで生まれた、Diversity&Inclusionプロジェクト「CAlorful」。

サイバーエージェントのビジョン「21世紀を代表する会社を創る」を目指すうえで、一緒に働く仲間を理解し多様性を受容することは、チームで力を発揮するためにもますます重要な要素となってきます。

社員が自ら働きやすい環境をつくりだすことは、サイバーエージェントらしいカルチャーの一つ。今回は「CAlorful」がどのように生まれたのか、今後目指すことを事務局メンバーに聞きました。

Page Top