Activity Understanding（行動理解）研究の挑戦

Profile

• 

  米谷 竜
  2013年に京都大学 大学院情報学研究科 博士後期課程を修了。東京大学生産技術研究所 助教、カーネギーメロン大学 訪問研究員、オムロンサイニックエックス PIを経て、2023年よりサイバーエージェントに中途入社。人物行動理解に関する研究に従事。

• 

  吉村 康弘
  2007年に奈良先端科学技術大学院大学 博士前期課程を修了。キヤノン株式会社、株式会社フィックスターズを経て、2023年よりAI Labのリサーチエンジニアとして中途入社。 コンピュータビジョン、ロボティクス、ソフトウェア高速化に強み。OpenCVのコントリビューターで解説書も執筆。AI Labでは人物行動理解に関する研究に従事。

• 

  関井 大気
  2012年に奈良先端科学技術大学院大学 情報科学研究科 博士前期課程を修了．電機メーカーを経て、2023年よりサイバーエージェントに中途入社．コンピュータビジョン，機械学習を用いた人物行動理解に関する研究に従事。

研究対象は身の回りの世界、「行動理解」の研究

AI Labの行動理解チームは、実世界における人々の行動を理解することで、より効果的なAIサービスを提供することを目指し研究を行っています。具体的には、人物の移動や行動を様々な手段で計測・認識・支援する技術や、自律移動型の小型ロボットを用いて環境の計測・人とのコミュニケーションを行う技術を研究しています。

当社はインターネット広告やメディア、ゲームといったデジタル領域での事業を中心に展開していますが、ここ数年では小売や調剤薬局におけるマーケティング支援やDX推進事業を展開するなど、私たちの身近な生活空間が現場となる取り組みも活発です。
例えば、店舗における来店客の行動を計測・予測し、そのデータを基にマーケティング戦略を立てることができれば、広告の効果を最大化することが可能です。

このような事業においてAI技術を活用するために、実世界における人々に寄り添いつつ、その活動を適切に計測し、認識する必要があり、本チームが2023年より立ち上がりました。
 

各分野の専門家がコラボレーションして取り組む多様な研究プロジェクト

「マルチモーダルセンシングによる人物行動の計測・認識・支援」と「自律移動ロボット」の2つの柱を中心に、京都と東京の２拠点で研究を実施。リサーチサイエンティストとリサーチエンジニアが半々のチーム構成になっており、ハードウェアの選定・設計からLLMの学習まで手広く取り組んでいます。

機械学習やロボティクス、コンピュータビジョン、ユビキタスコンピューティング、ハプティクス、自然言語処理、データマイニングなど、異なるバックグラウンドを持つメンバーが集結しつつ、事業に寄り添って研究を進めていることが特徴です。

リテールメディア事業との密な連携、事業に寄り添う研究の形

AI事業本部が展開するリテールメディア事業と密接な連携を図り、店舗内計測技術に注力していることも研究の特徴の1つ。
スマートフォンを用いたオプトイン型の顧客動線推定や大規模言語モデルを活用した顧客体験のシミュレーションなど、リテールメディアへの応用を目的とした基盤技術を開発しています。この取り組みは、国際会議での発表や特許取得といった学術的な成果を生み出しただけでなく、実際のプロダクトへの実装が進んでいます。


米谷「従来の技術では、BLEビーコンやAIカメラを使用した場合、設置や運用コストが高く、スケールアップが難しいという課題がありました。そこで、私たちのチームではスマートフォンの慣性センサーを活用した測位技術を用い、コストを抑えつつも高精度な動線推定を実現するシステムを開発しました。このシステムは、棚割やID-POSなど小売特有のインフラと組み合わせることで、実用的なソリューションを提供しています。」
 

現実世界でのインパクトを追求するために

行動理解チームは、実世界でのニーズに応えられるAIやロボティクス技術の開発を目指し、今後も多くの挑戦を行なっていきます。学術貢献はもちろんのこと、事業やプロダクトへの実装・社会還元を通し、現実世界でのインパクトを追求するチームとして今後も活動を続けていきます。

今まで交わらなかった分野の専門家が協力して研究開発をする時代。特に本研究開発は様々な技術を要する総合格闘技となるため、新しい知識や技術を積極的に吸収するマインドがある方、チームの垣根を超えていろんな人を巻き込んで行ける方、コンフォートゾーンを抜けて新しい領域にチャレンジしたい方に、ぜひ挑戦していただきたいです。

採用情報

Research Scientist（東京）
Research Scientist（京都）
Research Engineer（京都・マルチモーダル学習）
Research Engineer（実世界計測・自律移動ロボット）