未踏アドバンスト事業に採択された「ダンス + (機械学習 × Flutter × Unity) 」チームが目指した前人未到なチャレンジ

── 未踏アドバンスト事業に応募する事になった背景を教えてください

伏木：私はダンスが趣味で、同時にARも好きでそれらを組み合わせたいと考えていたところ、とある縁から、XR JAPANというダンス, フリースタイルフットボール, 音楽, XR, 3DCGなどのパフォーマンスを扱うクリエイティブレーベルを立ち上げました。2021年にはダンス × ARのアプリをリリースしました。アプリを運用していく中で、ダンスを取り巻く世の中のニーズとビジネス的な可能性を感じるようになってきました。

技術的なチャレンジでもあった「ダンス × AR」ですが、ビジネス的にもチャレンジにつなげる機会がないかと思案していく中で、独立行政法人情報処理推進機構(IPA)による、2023年度未踏アドバンスト事業公募概要を目にしたことが今回の応募のきっかけでした。

── ビジネス的な可能性とは？

伏木：例えばARは、2023年6月にAppleが公開したVisionProとvisionOS、2023年10月に発売されたMeta Quest 3により注目が高まっていて、追い風が吹いています。また、ダンスに関しては、2024年のパリオリンピックの正式種目に採用されているブレイキンに注目が高まっています。プロダンスリーグ「D.LEAGUE」にはサイバーエージェントも「CyberAgent Legit」というチームでリーグ参画していて大きな盛り上がりを見せています。

一般の人々の間でも「TikTok」や「Instagram」で音楽に合わせて「踊ってみた」ショートムービーが流行するなど、ダンスがより身近に楽しめる存在になってきています。

「今年出さないでいつ出すんだ？」と気持ちが高まり、思い切って「未踏アドバンスト事業」にチャレンジしてみようと思いました。

── 数あるコンテストや公募の中で、未踏アドバンスト事業を選んだ理由は？

伏木：大学院時代に同級生が応募しているのがきっかけで名前を知りました。サイバーエージェントでも未踏事業の中の「未踏IT人材発掘・育成事業」に採択されたエンジニアが何名もいましたので、社内でもよく知られている感覚です。学生時代にエンジニアを目指している人であれば、その名前を聞いたことがある人が多いと思います。

未踏事業は、若手や学生向けの人材発掘プログラムという印象が強いかもしれませんが、事業形態によって応募要件や目的が異なっていて、我々が応募した「未踏アドバンスト事業」は全年齢対象です。25歳未満を対象とする「未踏IT人材発掘・育成事業」では、若手ならではの試行錯誤も評価されると思いますが「未踏アドバンスト事業」は「ビジネスや社会課題の解決」という側面が備わり、事業化と収益化を見据えたプロジェクトを提案する必要があります。

辰己：未踏事業は、例えるなら「若手漫画家にとっての、出版社が主催する新人賞」みたいな憧れがありました。社会人にも門戸を開いている「未踏アドバンスト事業」は私たちにもチャンスがありそうで、チャレンジしがいがありました。

その一方、「未踏アドバンスト事業」ではエンジニアリングとは違った視点が求められました。未踏事業の運営の方にも「未踏アドバンスト事業は、他の未踏事業から見ると一番のお兄さんだから頑張ってね。ビジネス目線だけは持っておいてくださいね」と温かいプレッシャーをかけられたりなど(笑)

辰己：まずARの根幹としてUnity as a Libraryを選定しました。Unityで構築したアプリケーションをネイティブアプリのライブラリとして扱う事ができる機能です。Unityが得意とするAR や3D/2Dのリアルタイムレンダリングをネイティブアプリに組み込むことができるのが特徴です。

UIに関しては、よりネイティブアプリのパフォーマンスやUX体験を発揮するために、クロスプラットフォームであるFlutterを導入しました。

── Unity自体がクロスプラットフォーム開発が可能ですが、あえてFlutterを導入したのはなぜですか？

辰己：もちろん、Unityを採用した時点でiOSとAndroidのクロスプラットフォームを実現することはできますが、ネイティブアプリに寄り添った UI/UXを実現する事に課題が残ります。Unityの仕様に準拠する過程で、ネイティブに近い動作が制限されたり、パフォーマンスが低下するケースがあったからです。

例えば、Unity側で網羅的に対応していないネイティブのUI機能や、ネイティブ側のAPIをコールしなければならない場合など、Unityからネイティブ機能を使用する際には使いづらい部分があるのが現状です。結果的に、AndroidやiOSの機能を呼び出す度に、それぞれのネイティブコードをC#でコーディングする可能性がありました。

そこで、サイバーエージェントで5年以上実績があるFlutterを活用する事にしました。

「WINTICKET」や「スタコミュ」「WRESTLE UNIVERSE」など数々の実績があり、私も現在の新規プロダクトで活用しています。FlutterはOSS開発のカルチャーが成熟していて、「flutter_unity_widget」などUnity との連携を実現するための堅牢なパッケージが提供されています。コミュニティも活気があり、iOS/Androidの機能を呼び出す機能を1つのコードで実現できます。

また、ホットリロードと宣言型 UIを活用することで、UIをスピーディに作成できる点も注目しています。特に、ホットリロードは非常に便利な機能で、iOSやAndroidのネイティブ開発でボトルネックになっているビルド時間を大幅に削減できました。ホットリロードはFlutterが内蔵する素晴らしい機能であり、開発速度が飛躍的に向上しました。

メモリやパフォーマンス面でも安定していたのも印象的でした。当初、FlutterとUnityを連携して動作させた場合、アプリがクラッシュする可能性やメモリのオーバーフローの心配がありました。しかし、実際に作ってみると、思ったよりもメモリへの影響が少なく、Unityだけで作った場合と同等のパフォーマンスが発揮できました。
 

── ダンスの演出を支えるARや機械学習についても教えてください。

伏木：今回、Googleが提供するオープンソースの機械学習ライブラリである「MediaPipe」を活用しました。ライブメディアやストリーミングメディア向けのMLソリューションで、映像から顔検出、手検出、ポーズ検出を実現できます。このライブラリを使用することで、ダンスの動画から骨格検出が可能になりました。

例えば、iOSのARKitでは検出が難しいヨガやダンスなど、骨格が複雑に動作するモーションの解析に、機械学習が効果を発揮しています。

── ダンスしたい人にとって、モーションキャプチャースーツやモバイルモーションキャプチャーグッズを身につけるのもハードルがあるので、機械学習でモーションを自動検知してくれるのは、ユーザーフレンドリーですね。

伏木：ユーザーに負担をかけないよう、エンジニアリングで解決したいと思い、機械学習を取り入れました。「未踏事業」という言葉から、機械学習など業務未経験の分野を扱うことで、自分なりの「未踏」にチャレンジしたいと思いました。その結果、機械学習などの学術要素を取り入れることはチャレンジングで得難い経験になりました。現在は「MediaPipe」を使っていますが、さらなる骨格検出精度向上のため自前で学習モデルを作成することも検討しています。また、他にもさまざまなライブラリを検証して精度を向上させていきたいと思っています。

── 機械学習を導入する上で、技術的に難しかった点を教えてください。

伏木：「MediaPipe」の導入で、モーションデータをかなり精密に取得できるようになりました。とは言っても不特定多数のユーザーが表現する、様々なダンスモーションに完璧に追随するには課題もあり、時にポーズや関節が奇妙な姿勢になったり、カクツキが発生したりもしました。そのため、カクツキを減らすためにスムージング処理を行ったりしました。またユーザーの動きに合わせてキャラクターを動かすという機能もあり、IK/FK(※)を使って、ユーザーの関節位置から関節角度への変換を、C#でリアルタイム処理したのは難易度が高かったです。

※ IK(Inverse Kinematics)は目標に合わせ末端から関節を制御し、FK(Forward Kinematics)は関節を順に動かして細かなポーズを作る3DCGモデリングに関するアニメーション技術。