Activity Understanding(行動理解)研究の挑戦

技術・デザイン

ー実世界でのニーズに応えるAIやロボティクス技術の開発とはー

インターネット上だけでなく、私たちが生活するリアルな実世界において、AIサービスを実現するための基盤研究に取り組むAI LabのActivity Understanding(行動理解)チーム。2023年から始まった研究領域ですが、既に当社が展開するリテールメディア事業において実装が進んでいます。

多様な専門性のあるメンバーが、事業と連携し垣根を超えて生み出す新たな価値とはー?
Activity Understandingチーム立ち上げ当初から研究を行う3名のコメントを交えながら、紹介します。

Profile

  • 米谷 竜
    2013年に京都大学 大学院情報学研究科 博士後期課程を修了。東京大学生産技術研究所 助教、カーネギーメロン大学 訪問研究員、オムロンサイニックエックス PIを経て、2023年よりサイバーエージェントに中途入社。人物行動理解に関する研究に従事。

  • 吉村 康弘
    2007年に奈良先端科学技術大学院大学 博士前期課程を修了。キヤノン株式会社、株式会社フィックスターズを経て、2023年よりAI Labのリサーチエンジニアとして中途入社。 コンピュータビジョン、ロボティクス、ソフトウェア高速化に強み。OpenCVのコントリビューターで解説書も執筆。AI Labでは人物行動理解に関する研究に従事。

  • 関井 大気
    2012年に奈良先端科学技術大学院大学 情報科学研究科 博士前期課程を修了.電機メーカーを経て、2023年よりサイバーエージェントに中途入社.コンピュータビジョン,機械学習を用いた人物行動理解に関する研究に従事。

研究対象は身の回りの世界、「行動理解」の研究

AI Labの行動理解チームは、実世界における人々の行動を理解することで、より効果的なAIサービスを提供することを目指し研究を行っています。具体的には、人物の移動や行動を様々な手段で計測・認識・支援する技術や、自律移動型の小型ロボットを用いて環境の計測・人とのコミュニケーションを行う技術を研究しています。

当社はインターネット広告やメディア、ゲームといったデジタル領域での事業を中心に展開していますが、ここ数年では小売や調剤薬局におけるマーケティング支援やDX推進事業を展開するなど、私たちの身近な生活空間が現場となる取り組みも活発です。
例えば、店舗における来店客の行動を計測・予測し、そのデータを基にマーケティング戦略を立てることができれば、広告の効果を最大化することが可能です。

このような事業においてAI技術を活用するために、実世界における人々に寄り添いつつ、その活動を適切に計測し、認識する必要があり、本チームが2023年より立ち上がりました。
 

各分野の専門家がコラボレーションして取り組む多様な研究プロジェクト

「マルチモーダルセンシングによる人物行動の計測・認識・支援」と「自律移動ロボット」の2つの柱を中心に、京都と東京の2拠点で研究を実施。リサーチサイエンティストとリサーチエンジニアが半々のチーム構成になっており、ハードウェアの選定・設計からLLMの学習まで手広く取り組んでいます。

機械学習やロボティクス、コンピュータビジョン、ユビキタスコンピューティング、ハプティクス、自然言語処理、データマイニングなど、異なるバックグラウンドを持つメンバーが集結しつつ、事業に寄り添って研究を進めていることが特徴です。

マルチモーダルセンシングによる人物行動の計測・認識・支援

例えば小売事業において「来店客の行動を計測して店内広告の効果を測定したい」というニーズに対し、「そもそもどのようなセンサを用いて行動を計測するのか?」「どこまで信号処理で対応しどこから機械学習を活用するのか?」「広告や商品の位置が変わったらどうするのか?」「特定の人物に絞って行動計測や分析ができるか?」など、多様な切り口で研究を進めています。

 

イメージ例

「そもそもどのようなセンサを用いて行動を計測するのか?」
「どこまで信号処理で対応しどこから機械学習を活用するのか?」
「特定の人物に絞って行動計測や分析ができるか?」

関井「京都拠点で、行動理解のためのマルチモーダルAIに関する研究プロジェクトを立ち上げています。特に、コンピュータビジョン、自然言語処理、音声認識など、分野やモダリティの壁を超えたマルチモーダルな基盤モデルや、実環境をより詳細にモデル化する4Dメディア理解などの研究をおこなっています。最近はLLM(大規模言語モデル)の進化を背景に、言語のモダリティを介して動画や音声、IMU、4Dデータなど色々なモダリティのデータを扱えるようになりました。先進的な研究テーマを追求しつつも、リテール領域やエンターテイメント、広告など、実世界のサービスに根差した研究開発を手がけています。」

自律移動ロボット

吉村「東京拠点を中心に、社会的に受け入れられる形でAI・ロボティクス技術が活用される将来を思い描きつつ、そのために必要となる基礎研究開発を推進しています。特に、多様なセンサによるセンシング、環境理解技術、屋内環境でのロボットのナビゲーションの研究開発を行っています。複雑に変化する環境のなかでロボットを安全かつ効率的に動かすためには多様な分野の知識が必要となるため他のチームとも積極的に連携しながら進めています。」

「自律移動ロボットのイメージ」

リテールメディア事業との密な連携、事業に寄り添う研究の形

AI事業本部が展開するリテールメディア事業と密接な連携を図り、店舗内計測技術に注力していることも研究の特徴の1つ。
スマートフォンを用いたオプトイン型の顧客動線推定や大規模言語モデルを活用した顧客体験のシミュレーションなど、リテールメディアへの応用を目的とした基盤技術を開発しています。この取り組みは、国際会議での発表や特許取得といった学術的な成果を生み出しただけでなく、実際のプロダクトへの実装が進んでいます。


米谷「従来の技術では、BLEビーコンやAIカメラを使用した場合、設置や運用コストが高く、スケールアップが難しいという課題がありました。そこで、私たちのチームではスマートフォンの慣性センサーを活用した測位技術を用い、コストを抑えつつも高精度な動線推定を実現するシステムを開発しました。このシステムは、棚割やID-POSなど小売特有のインフラと組み合わせることで、実用的なソリューションを提供しています。」
 

リテールメディア事業との連携会議
リテールメディア事業との連携会議

こうした成果は、研究成果がどのように事業応用できるかを研究開始段階からAI Lab
と事業サイドでフラットかつ密に話し合える雰囲気ができているからこそ。
領域・職種を超えたコラボレーション・意見交換の場があることで、現場での課題をとらえた研究活動が行いやすい環境があります。

現実世界でのインパクトを追求するために

行動理解チームは、実世界でのニーズに応えられるAIやロボティクス技術の開発を目指し、今後も多くの挑戦を行なっていきます。学術貢献はもちろんのこと、事業やプロダクトへの実装・社会還元を通し、現実世界でのインパクトを追求するチームとして今後も活動を続けていきます。

今まで交わらなかった分野の専門家が協力して研究開発をする時代。特に本研究開発は様々な技術を要する総合格闘技となるため、新しい知識や技術を積極的に吸収するマインドがある方、チームの垣根を超えていろんな人を巻き込んで行ける方、コンフォートゾーンを抜けて新しい領域にチャレンジしたい方に、ぜひ挑戦していただきたいです。

採用情報

この記事をシェア

公式SNSをフォロー

  • Facebook
  • Twitter
  • Instagram
  • Line

記事ランキング

20年続く「Ameba」の“らしさ”を形づくるデザインシステム

技術・デザイン

Amebaブランドを一貫してユーザーに届けるために誕生したデザインシステム「Spindle(スピンドル)」。2020年に導入し、Amebaらしさをユーザーに伝えることで、サービスの信頼と共感を築いてきました。
「AIの時代にこそ求められるこのシステムは、Amebaの進化を支え続ける」と語るのは、Amebaデジタルプロダクト デザインリードの本田。その言葉の意味を紐解き、「Spindle」の役割と未来についてご紹介します。

Spindle:糸を紡ぐ「紡錘」と細胞分裂に必要な「紡錘体」の意味。この名前には、Amebaらしさという一本の軸を形成し、まるで生き物のように進化し続けたいという思いが込められています。
 

Page Top