「AI × バーチャルスタジオ」を支える
NextExpertsエンジニア

技術・デザイン

~好奇心と技術力で広告クリエイティブ制作に革新を ~

当社には、特定の分野に抜きん出た知識とスキルを持ち、第一人者として実績を上げているエンジニアを選出する「Developer Experts制度」があります。その次世代版である「Next Experts」として選出した12名のエンジニア※は、各専門領域において培った知見をサイバーエージェントグループ全体に還元すべく、技術力の向上に努めています。

バーチャルプロダクション分野のNext Expertsである海木は、CGやトラッキング技術を用いてリアルタイムで映像を制作するエンジニアです。クリエイティブのあり方を革新する可能性を秘め、今後様々なプロダクションにおいて必要とされるバーチャルプロダクション。スタジオエンジニアとして様々な案件に携わってきた海木に、次世代の映像制作のリアルとその可能性を聞きました。

※2023年9月時点

Profile

  • 海木 一佳 (AI事業本部 スタジオエンジニア)
    株式会社サイバーエージェント 2019年新卒入社。極(きわみ)AIお台場スタジオにてLED、バーチャル合成などバーチャルプロダクションの運用に従事。

VTuber黎明期から培ってきたバーチャルスタジオ技術

── 海木さんのエンジニアとしてのバックグラウンドを教えてください

2019年にサイバーエージェントに新卒入社し、最初の配属先は子会社のバーチャルYouTuber(VTuber)事業でした。当時はVTuberをとりまく市場が今ほど成熟していない時期で、制作手法も前例がない中の手探り状態でした。そのため、音響・照明・配信・モーションキャプチャー・カメラワーク・Unityなど、すべての工程に関わりながら、バーチャルライブに関するノウハウを身につけていきました。

例えばVTuberのライブ配信時に、Unity上で動作するはずのキャラクターの動きが止まってしまったとします。トラブルシューティングに際して、ケーブルの接続と信号送受信に問題がないか、演者の立つ位置とカメラの間でキャリブレーションが失敗していないか、ネットワークプロトコル上でエラーログが出ていないか、演者からのモーションデータがUnityで正しく受け取れているのかなど、確認すべきエンドポイントが、ハードウェアからソフトウェアまで多岐にわたり、ワークフローを俯瞰してとらえる必要がありました。

この時の経験は今でも生きていますし、サイバーエージェントのバーチャルプロダクション分野でのNext Expertsと認められた今でも、向き合っている課題は同じとも言えます。

── VTuberの運営事業を経て、AI事業本部のバーチャルプロダクション事業へと、専門分野の流れが続いていますね。

その後、AI事業本部に異動し、スタジオエンジニアとして様々なバーチャルプロダクション案件に取り組みました。市場の拡大とともに関わる案件の規模も大きくなっていったのも印象的です。VTuberの黎明期、Youtube Liveの同時視聴者数は数百人から数千人程度でしたが、例えば「FUTURE EVENT」の案件では、同時接続数が数万人になりました。

バーチャルライブだけでなく、国や自治体からの案件も増え、バーチャルプロダクションが社会に受け入れられ、マーケット的にも需要が高まっていることを実感しています。

現在は今年9月に始動した株式会社Cyber AI Productionsに関わっていますが、事業ドメインや技術領域はずっと地続きで、今でも「前例がない事にチャレンジする」は変わらずです。

「AI × バーチャルスタジオで、広告の常識を変える」

── バーチャルプロダクション分野のNextExpertsである海木さんが、最近関わったプロジェクトの中でも、特に印象的な案件を教えてください。

2023年9月13日にオープンした、クリエイティブ制作スタジオ「極(きわみ)AIお台場スタジオ」が、直近関わった大型プロジェクトです。「AI × バーチャルスタジオで、広告の常識を変える」というコンセプトに基づき、国内最大級のシリンドリカル型LEDウォール(幅15m)、3面構成の xRスタジオ、0.84mmピッチの高精細かつ可動式LEDウォール、4Dスキャンシステム、専用サーバー室、xRや音声合成用のスタジオなどが併設されています。まさに、国内最大規模の設備を備えたクリエイティブスタジオと言えます。

極(きわみ)AIお台場スタジオ」における私の業務範囲は、映像制作一般には「プロダクション」と呼ばれる機材構成から撮影収録までの工程に、VFXや3DCGなどの要素が含まれたものになります。

実写に見紛うほどフォトリアリスティックな背景を映し出す巨大LEDパネルの制御、そのLEDパネルが描く背景と演者を違和感なく合成する技術、Unreal Engineでリアルタイムに3DCGレンダリングしていく技術などを駆使し、いかにプロダクション全体とその制作物の「品質・速度・量」を高めるかが重要で、スタジオ設立でもその視点で機材構成等に関わりました。

また、「AI × バーチャルスタジオで、広告の常識を変える」というコンセプトを実現するために、Pixel Light Effects社製の4Dスキャンシステムモーションコントロールカメラ(Bolt Jr+)などの貴重なハードウェアの導入や、ソフトウェアでも極予測AIなどAIとの連携を前提とした構成にしています。チャレンジできる可能性の広さに、エンジニアとしてワクワクが止まらず、スタジオにいつまでもいたくなるほどです。

── 従来のバーチャルスタジオでも、インパクトのある映像制作のために3DCG合成が活用されてきました。今回の「極(きわみ)AIお台場スタジオ」では、何が革新的なのでしょうか?

「バーチャルスタジオ」と聞くと、映画やドラマといったエンターテインメントで活用されるイメージがありますが、我々が目指すのは「AIを活用した広告クリエイティブ制作の革命」です。これまでも「極シリーズ」で広告クリエイティブにAIを活用してきた実績を活かし、スタジオ収録におけるワークフローを進化させていくのが目的です。

例えば、導入したPixel Light Effects社製の4Dスキャンシステムは「冨永愛さんのデジタルツイン」でも使用された3Dスキャンシステムから更に発展した、表情の動きが収録できるボリュメトリックキャプチャシステムとなっています。このシステムで収録した4Dデータを、当社のAI研究組織のAI Labにて学習データとして活用することで、デジタルツインの品質向上や制作効率化を目指しています。

さらに、バーチャルヒューマンに欠かせない音声合成に関しては、同じNext ExpertsであるAI Labの吉本 暁文が関わっていて、機械学習のための高品質な音声データを収録できる専用スタジオを併設しています。

モーションキャプチャー設備も充実していて、精密なモーショントラッキングデータを取得・収集することができます。これにより、様々なバーチャルヒューマンにモーションデータをアタッチすることも可能です。

また、バーチャルプロダクションで使うためのCGや背景の制作もAIを活用し、効率化を進めています。これらを総合し、バーチャルヒューマンと音声合成、フォトリアリスティックな背景を表現する大型LEDパネルを使用することで、ロケを必要としない広告映像の制作が可能となっています。

── AIを活用して制作したバーチャルヒューマンや背景によって、無数のシーンが撮れるということでしょうか?

インターネット広告における効果の高いクリエイティブは、視聴者やユーザーの志向やトレンドに合わせて、柔軟に広告クリエイティブの内容を変えていくことです。一方で、著名人を活用した広告クリエイティブには、撮影スケジュールや撮影場所などの関係で、多くのパターンや環境での収録が困難という課題がありました。これまでも弊社では、こうした課題解決のために効果予測しながら、広告効果の高いクリエイティブ素材を撮影し続ける「極予測LED」を提供してまいりましたが、さらなる多様な表現のニーズが増えています。

そこで「極(きわみ)AIお台場スタジオ」を活用することで、著名人の様々な演技に対して、巨大LEDパネルを活用した背景を使って演出するだけでなく、バーチャルヒューマンで制作した群衆を使ってシーンを脚色することも可能です。さらに、季節や天候によるパターンだけでなく、北海道や沖縄やハワイなど各地でロケしたかのようなシーンを演出することも可能です。

従来のバーチャルスタジオでのグリーンバックのクロマキー合成とは異なり、巨大LEDパネルやリアルな照明、モーションコントロールカメラを使用することで、その場にいるにも関わらず現実の背景と錯覚するような空間を作り出し、演者が演技に没頭することができます。

さらに、バーチャルヒューマンやAIを活用すれば、著名人が着ている服や髪型、表情や演技など、無数のパターンを制作することが可能になります。

── それを実現するための技術的な課題は何ですか?

背景となる大型LEDパネル1つとっても、フォトリアルな画像や動画があれば、それだけで広告クリエイティブが作れるわけではありません。大型LEDパネルは非常に繊細な機材であり、送出するためのデータやオペレーションを慎重に扱わないと意図しない描画処理が発生し、単なるきれいな大型テレビがバックに置かれているという状況になりかねません。

そのため、演者の演技や光の明暗に馴染ませるために、カメラマンや照明、エンジニアやクリエイターとのチームワークが必要です。また、スタジオ機材の性能を最大限発揮するために、ワークフローの構築も欠かせません。

「バーチャルスタジオ」と聞くと、無人のスタジオで撮影しているイメージかもしれませんが、現場は人がひしめきあっていて、熱気にあふれています。演者の動きや表情、ライトやLEDパネルからの照り返しによる肌や髪の質感と整合性を保ちつつ、調和のとれたシーンをカメラにおさめて収録するには、現場の経験と技術が必要です。このように「極(きわみ)AIお台場スタジオ」では、職種を問わず、様々なプロフェッショナルが集まって制作しています。

自分の今のミッションは、「極(きわみ)AIお台場スタジオ」におけるワークフローの最適解をつくる事だと思っています。
 

誰も正解をもっていない分野を生き抜くための「好奇心」

── LEDパネルやモーションキャプチャ、UnityやUnreal Engineなど、メタバースやxRにもつながる新しい技術要素はまさにNext Expertsを体現していると感じます。そんな海木さんの最も得意なスキルは何でしょうか?

ソフトウェアやプログラミング言語といった特定の技術が得意というよりは、現場での課題解決が得意だと自覚しています。直面する技術的な課題やトラブルに対して、前例や知識がなかったとしても、強い好奇心でポジティブに向き合えるのが、私のエンジニアとしての強みだと思っています。

ある意味、バーチャルスタジオのワークフローはエンジニアリングに似ていると思っています。収録が何らかのトラブルでうまくいかない場合、ソフトウェア開発におけるバグのように、スタジオワークフローのあらゆる箇所を見直し、原因を特定をしていく工程はプログラミングと似ているからです。

そのために大事にしているのは「技術的な引き出しの多さ」です。

例えば、演者からのモーションデータをUnreal Engineで受信した際に、一部のデータが欠損しているとします。ネットワークの知識があれば、データがどのような経路で送受信されているか、その全体像を把握することができます。また、Linuxの知識があれば、CUIからコマンドを叩いてログをトレースして調査ができます。UnityやUnreal Engineで見た時に、特定のキャラクターがプルプルと揺れていたり、背景の3Dオブジェクトにちらつきが発生している場合は、C#やC++で簡易的な検証ツールを作って、現象の調査をすることもできます。

課題解決が得意と言いましたが、そういった「技術的な引き出しの多さ」が役に立っている気がします。

── 一緒に働くエンジニアを募集中ですが、どんな方が向いていると思いますか?

特定の技術に限らず、未知の分野や領域に対して好奇心を持ち、現場を楽しむことができる人が向いていると思います。特にバーチャルスタジオの現場では、ネットで調べても見つからないような課題に頻繁に直面するだけでなく、機材メーカーやベンダーのマニュアルにも載っていないトラブルが起こることもあります。そうした難題を突破するのは、エンジニアとしての好奇心だと考えています。

海外から輸入した機材を開封し、ケーブルを接続し、電源ボタンを押し、ボタンをポチポチと押して、ワークフローにどうやって組み込もうか考えるのが好きです。独自のツールを作成して機材間のデータを解析したり、筐体を開けて配線を調べたりする時はワクワクします。

特に「極(きわみ)AIお台場スタジオ」には、多くのプロフェッショナルが集まって仕事をしています。そのため、既存の職種や事業にとらわれず、未知の領域や技術に対して好奇心が強い人が適していると思います。例えば、メタバースに興味を持ちUnityを始めてみて、次第にVFXや実写合成にも興味をもって仕組みを学び、visionOSなどMR(Mixed Reality)に興味を持ち、それから仮想カメラ、モーショントラッキング、3DCG、AIへと好奇心と興味がどんどん広がっていくような人です。

誰も正解をもっていない分野なので、自分なりに仮説と検証をして、最適解を探る過程を楽しめる人と一緒に働いてみたいですね。

この記事をシェア

オフィシャルブログを見る

記事ランキング

WebパフォーマンスのExpertsが目指す 持続性の高いWeb開発

技術・デザイン

Page Top