「著名人のデジタルツインを実現」から始まった、音声合成のマーケットインから社会実装への道のり

── 著名人の音声を再現する過程で、技術的に工夫したポイントを教えてください。

スケジュールが多忙な著名人の声を、少ないデータで再現するには課題がたくさんありました。要件を考えると、一番使うことになるスタイルでも、純粋なナレーションよりは表現力が必要ですし、それ以外のスタイルも収録するので、一つのスタイルあたりのデータは結構少なくなります。それでも声質や一つのスタイルの大体の表現は実現できるのですが、音の高さの変化は大量のデータがあった方が安定します。

そんな中、「デジタルツインレーベル」公式デジタルツインの冨永愛さんのモデルに関して、本人らしさを飛躍的に向上できたのがピッチ推定です。大勢の社員に、音声データの提供等で協力してもらうことで得た、大規模事前学習のおかげで、精度高いピッチ推定が可能になり、誰が聞いても「冨永愛さんの声だ！」と認識できる品質まで向上しました。音響モデルや機械学習だけでは至れないクオリティは、まさにチームで追い求めた成果だったと思います。

また、収録する音声自体の録音状況にも工夫をしていて、ノイズが極力発生しない環境での録音など、その時点でのベストな環境での音声データが取得できたのも、クオリティに大きく影響したポイントです。

また、子会社であるAI Shiftの「AI Messenger Voicebot」で、電話対応業務のDX化を実現するために、予約や注文受付、情報照会などで必要になる音声技術についてAI Shiftメンバーと協力しています。

── プロダクトへの導入が増える中、今後の技術的な課題はどんな点にありますか？

音声合成を、プロダクトに効果的かつ効率的に組み込む事が、目下の課題です。音声合成と聞くと、音声の再現度や音質が注目されがちですが、プロダクト導入後のワークフローや運用方法を並行して考える必要があると考えています。

「デジタルツインレーベル」のケースでは、著名人や役者という、視聴者が日頃テレビや映像作品を通じて聞いている声だからこそ、違和感なく聴き入れられる必要があります。そのため、実際の発話に忠実なアクセントラベルの付与や、音声モデルの調整、感情表現に沿った細かいピッチコントロールなどを調整し、著名人本人の声に限りなく近づける事を目指しています。

詳しくは「CyberAgent Developer Conference 2023」で紹介しているので、興味を持たれた方はぜひ御覧ください。

このように、著名人の音声合成ワークフローでは、テキストを入力すれば、合成された音声が全自動で返ってくるようには設計していません。出力時の精度に品質不足があった場合、どの工程に問題があったのかの検証と改善をするためです。

ただし、現在のワークフローのままではビジネス的にスケールが難しいのは明白です。

── ビジネス的にスケール可能にするためには何が必要でしょうか？

例えば「デジタルツインレーベル」の中長期的なビジョンは「数百人の著名人をキャスティングできる事務所」を作り上げることです。この規模でデジタルツインの運用となると、1人1人をチューニングして音声の再現をするという方法には限界があります。

そこで、機械学習や音声合成の知識がなくても、シーンやシチュエーションに応じて、著名人の声を生成できる機能や、新しいワークフローを構築中です。

こういったワークフロー構築には、MLエンジニアだからこそ提案できる事が多々あり、MLエンジニアがプロダクトに機械学習やAIを組み込む事で、ビジネス的なインパクトを出す事が可能になると思っています。私自身は研究者とMLエンジニアを兼ねながら、ユーザーやマーケットが何を求めているのかにコミットしていきたいと思っています。

AI Labでは、学術貢献はもちろんのこと、我々の研究成果が「顧客満足度の向上や店舗売上の向上にどれだけ貢献するか」といった社会実装にも注力しています。同じAI Labメンバーの兵頭の記事にあるような、ビジネスへのインパクトや、行政と連携したエッジAIの社会実装は、その最たる例ではないでしょうか。

── そのためには、ご自分の専門分野以外の視野も求められそうですね。

最近では、AI事業本部の「GovTech開発センター」と連携した案件にも関わりました。

熊本に在住する難病を抱えた方からのご依頼で、ご本人の音声を収録した上で、音声合成を実現するプロジェクトに関わりました。

その際、常時クラウド上のGPUサーバーにネットワークアクセスできないという環境や、運用中の障害対応やクラウド維持費という課題に直面しました。そこで、クラウド上のGPUサーバーを用いる処理の代替として、iPhoneの専用アクセラレーターを活用したiPhoneアプリを開発し、同等の機能をもった音声合成を実行可能にしました。

このプロジェクトによって、発話に問題やコンプレックスを抱える方がコミュニケーションを取る手段として、音声合成がその一助になる事を実感しました。それだけでなく、利用する方がどういった環境で使うのか、日常生活の中にどのようにAIを組み込み、技術で生活のサポートをするにはどうしたら良いかを考える機会にもなりました。

ビジネスの規模や可能性に対して、その投資対効果を見据えた上で、大規模な設備投資を迅速に進めるのがサイバーエージェントの強みだと思います。

また、今回のバーチャルスタジオ設計でも、様々な職種の人たちが一丸となり作り上げました。ビジネスインパクトを出すために、職種や所属を問わずにチームを組成して、コラボレーションできるのがサイバーエージェントの強みだと思います。

── NEXT Expertsとして今後、どんな事にチャレンジしたいですか？

デバイスを活用した唇の動きや顔の表情を認識する技術に注目しています。音声合成の際に、表情などの視覚的な要素を取り入れることで、従来のテキストを主な入力とする手法よりも、より正確な再現が可能になると考えています。特に、言葉だけでは表現しづらい細かな感情の揺らぎなど、テキスト以外の要素からデータを取得することで、欲しい音声を得るためにより思い通りのデザインができるようになると思われます。

また、専用スタジオで進めている収録データは極めて高品質なもので、これが蓄積されてくると、音声合成の表現力向上はもちろんですが、純粋な音声合成以外にもできることが沢山でてきます。こういった大規模データがあって初めてできるようになる技術への挑戦も、環境の強みが活きるところです。

将来的には、手話のように唇の動きやジェスチャーだけで、意思やメッセージを伝えるツールが開発できるかもしれません。

その際に重要なのは「最先端の技術でこんなことができます！」というプロトタイプ開発で終わらせないことです。その技術を、実際のプロダクトやサービスに組み込み、PDCAを繰り返し、運用と改善につなげ、社会のために役立てることこそが重要だと思っています。

「マーケットニーズや社会課題のために」と一歩でも踏み込んでみると、たちまち直面する技術的な壁。サイバーエージェントが向き合うビジネス的な課題や開拓する分野のハードルが広がるにつれ、その技術的な課題の壁が高くなっている気がします。

だからこそ「その壁をチームでどう乗り越えるか？」に向きあい、果敢に技術的なチャレンジを仕掛けられることが、サイバーエージェントで働く楽しさなのかもしれません。