「AI × バーチャルスタジオ」を支える
NextExpertsエンジニア

── 海木さんのエンジニアとしてのバックグラウンドを教えてください

2019年にサイバーエージェントに新卒入社し、最初の配属先は子会社のバーチャルYouTuber(VTuber)事業でした。当時はVTuberをとりまく市場が今ほど成熟していない時期で、制作手法も前例がない中の手探り状態でした。そのため、音響・照明・配信・モーションキャプチャー・カメラワーク・Unityなど、すべての工程に関わりながら、バーチャルライブに関するノウハウを身につけていきました。

例えばVTuberのライブ配信時に、Unity上で動作するはずのキャラクターの動きが止まってしまったとします。トラブルシューティングに際して、ケーブルの接続と信号送受信に問題がないか、演者の立つ位置とカメラの間でキャリブレーションが失敗していないか、ネットワークプロトコル上でエラーログが出ていないか、演者からのモーションデータがUnityで正しく受け取れているのかなど、確認すべきエンドポイントが、ハードウェアからソフトウェアまで多岐にわたり、ワークフローを俯瞰してとらえる必要がありました。

この時の経験は今でも生きていますし、サイバーエージェントのバーチャルプロダクション分野でのNext Expertsと認められた今でも、向き合っている課題は同じとも言えます。

── VTuberの運営事業を経て、AI事業本部のバーチャルプロダクション事業へと、専門分野の流れが続いていますね。

その後、AI事業本部に異動し、スタジオエンジニアとして様々なバーチャルプロダクション案件に取り組みました。市場の拡大とともに関わる案件の規模も大きくなっていったのも印象的です。VTuberの黎明期、Youtube Liveの同時視聴者数は数百人から数千人程度でしたが、例えば「FUTURE EVENT」の案件では、同時接続数が数万人になりました。

バーチャルライブだけでなく、国や自治体からの案件も増え、バーチャルプロダクションが社会に受け入れられ、マーケット的にも需要が高まっていることを実感しています。

現在は今年9月に始動した株式会社Cyber AI Productionsに関わっていますが、事業ドメインや技術領域はずっと地続きで、今でも「前例がない事にチャレンジする」は変わらずです。

── バーチャルプロダクション分野のNextExpertsである海木さんが、最近関わったプロジェクトの中でも、特に印象的な案件を教えてください。

2023年9月13日にオープンした、クリエイティブ制作スタジオ「極（きわみ）AIお台場スタジオ」が、直近関わった大型プロジェクトです。「AI × バーチャルスタジオで、広告の常識を変える」というコンセプトに基づき、国内最大級のシリンドリカル型LEDウォール（幅15m）、3面構成の xRスタジオ、0.84mmピッチの高精細かつ可動式LEDウォール、4Dスキャンシステム、専用サーバー室、xRや音声合成用のスタジオなどが併設されています。まさに、国内最大規模の設備を備えたクリエイティブスタジオと言えます。

「極（きわみ）AIお台場スタジオ」における私の業務範囲は、映像制作一般には「プロダクション」と呼ばれる機材構成から撮影収録までの工程に、VFXや3DCGなどの要素が含まれたものになります。

実写に見紛うほどフォトリアリスティックな背景を映し出す巨大LEDパネルの制御、そのLEDパネルが描く背景と演者を違和感なく合成する技術、Unreal Engineでリアルタイムに3DCGレンダリングしていく技術などを駆使し、いかにプロダクション全体とその制作物の「品質・速度・量」を高めるかが重要で、スタジオ設立でもその視点で機材構成等に関わりました。

また、「AI × バーチャルスタジオで、広告の常識を変える」というコンセプトを実現するために、Pixel Light Effects社製の4Dスキャンシステムやモーションコントロールカメラ（Bolt Jr+）などの貴重なハードウェアの導入や、ソフトウェアでも極予測AIなどAIとの連携を前提とした構成にしています。チャレンジできる可能性の広さに、エンジニアとしてワクワクが止まらず、スタジオにいつまでもいたくなるほどです。

── LEDパネルやモーションキャプチャ、UnityやUnreal Engineなど、メタバースやxRにもつながる新しい技術要素はまさにNext Expertsを体現していると感じます。そんな海木さんの最も得意なスキルは何でしょうか？

ソフトウェアやプログラミング言語といった特定の技術が得意というよりは、現場での課題解決が得意だと自覚しています。直面する技術的な課題やトラブルに対して、前例や知識がなかったとしても、強い好奇心でポジティブに向き合えるのが、私のエンジニアとしての強みだと思っています。

ある意味、バーチャルスタジオのワークフローはエンジニアリングに似ていると思っています。収録が何らかのトラブルでうまくいかない場合、ソフトウェア開発におけるバグのように、スタジオワークフローのあらゆる箇所を見直し、原因を特定をしていく工程はプログラミングと似ているからです。

そのために大事にしているのは「技術的な引き出しの多さ」です。

例えば、演者からのモーションデータをUnreal Engineで受信した際に、一部のデータが欠損しているとします。ネットワークの知識があれば、データがどのような経路で送受信されているか、その全体像を把握することができます。また、Linuxの知識があれば、CUIからコマンドを叩いてログをトレースして調査ができます。UnityやUnreal Engineで見た時に、特定のキャラクターがプルプルと揺れていたり、背景の3Dオブジェクトにちらつきが発生している場合は、C#やC++で簡易的な検証ツールを作って、現象の調査をすることもできます。

課題解決が得意と言いましたが、そういった「技術的な引き出しの多さ」が役に立っている気がします。

── 一緒に働くエンジニアを募集中ですが、どんな方が向いていると思いますか？

特定の技術に限らず、未知の分野や領域に対して好奇心を持ち、現場を楽しむことができる人が向いていると思います。特にバーチャルスタジオの現場では、ネットで調べても見つからないような課題に頻繁に直面するだけでなく、機材メーカーやベンダーのマニュアルにも載っていないトラブルが起こることもあります。そうした難題を突破するのは、エンジニアとしての好奇心だと考えています。

海外から輸入した機材を開封し、ケーブルを接続し、電源ボタンを押し、ボタンをポチポチと押して、ワークフローにどうやって組み込もうか考えるのが好きです。独自のツールを作成して機材間のデータを解析したり、筐体を開けて配線を調べたりする時はワクワクします。

特に「極（きわみ）AIお台場スタジオ」には、多くのプロフェッショナルが集まって仕事をしています。そのため、既存の職種や事業にとらわれず、未知の領域や技術に対して好奇心が強い人が適していると思います。例えば、メタバースに興味を持ちUnityを始めてみて、次第にVFXや実写合成にも興味をもって仕組みを学び、visionOSなどMR(Mixed Reality)に興味を持ち、それから仮想カメラ、モーショントラッキング、3DCG、AIへと好奇心と興味がどんどん広がっていくような人です。

誰も正解をもっていない分野なので、自分なりに仮説と検証をして、最適解を探る過程を楽しめる人と一緒に働いてみたいですね。