プレスリリース
AI Lab、大規模言語モデルを利用した複数の接客ロボットの自律・遠隔制御の実証実験を実施
ー対話ロボットからオペレータへ会話を引き継ぐ際の対話要約の有用性を確認ー
株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）の人工知能技術の研究開発組織「AI Lab」は、大阪大学大学院基礎工学研究科の先端知能システム共同研究講座 ※1、国立大学法人東海国立大学機構 名古屋大学、株式会社海遊館の運営する生きもののミュージアム「NIFREL（ニフレル）」（大阪府吹田市、館長：小畑洋）※2 と共に実施した、大規模言語モデルを利用した複数の接客ロボットの自律・遠隔制御の実証実験において、オペレータへの対話要約インタフェースの比較調査の結果を明らかにしました。
なお「知的システムと人とのインタラクション」に関わる重要な国際会議「HAI 2023」において、本研究に関する論文が2件採択されております。（2023/12/5-7発表予定）※3
なお「知的システムと人とのインタラクション」に関わる重要な国際会議「HAI 2023」において、本研究に関する論文が2件採択されております。（2023/12/5-7発表予定）※3
■実証プロジェクトの実施背景
ポストコロナにおける実店舗への来店客の増加見込みに対し、ロボットを活用した遠隔接客の有用性が注目される中、内閣府が主導する「ムーンショット型研究開発制度」において研究開発プロジェクトの1つとして「誰もが自在に活躍できるアバター共生社会の実現」が進められています。※4
遠隔接客では時間や場所の制約を受けずに接客業務ができるため、オペレータ1人でもフロア内の複数箇所や施設を横断したサービス提供が可能です。さらに多拠点での丁寧かつシームレスな対応が出来ることで、省人化および顧客満足度の向上が見込めます。
一方で複数体のアバターロボットを1人のオペレータで制御するには、基本的なタスクを処理する自律制御システムと、複雑な状況に人が介入対応する遠隔操作システムのハイブリッドな仕組みが必要です。オペレータが複雑な状況に即座に介入するには、ロボットが来場客に行った対話やサービスの履歴を、いかにオペレータへわかりやすく素早く伝えるかが大きな課題でした。
こうした背景のもと、2022年よりムーンショット型研究開発プロジェクト「誰もが自在に活躍できるアバター共生社会の実現」の一環として、名古屋大学の東中竜一郎教授・小川浩平准教授と共に本研究に関する取り組みを開始いたしました。
■実証実験概要
本実証実験では、「自律・遠隔接客ロボット」からオペレータへの最適な対話要約手法およびインタフェースの検討を行いました。
海遊館の運営する生きもののミュージアム「ニフレル」にて、大規模言語モデル（LLM）を用いた自律対話システムと、対話要約インタフェースを備えた遠隔操作システムを実装した展示案内アバターロボットを6体設置いたしました。
本実証実験において大規模言語モデルは自律対話システムのルールベースの応答と併用され、ニフレルの個別の情報を備えたプロンプトとともに応答生成に用いられました。また、対話要約インタフェースにおいては、対話形式の要約（対話履歴をより短い対話として表現したもの）の生成に用いられました。対話形式の要約は、対話の臨場感を維持できることが知られており、オペレータが対話を瞬時に把握することが可能となります。
今回、複数のアバターのサービス提供を支援するオペレータを2名配置し、そのオペレータたちが提案システムを利用してサービス提供のサポートをする様子を観察・分析いたしました。
●調査内容
6体のロボットを館内に配置し、来場客への館内案内・展示紹介を行います。
また、ロボットが適切に対応出来なかった場合に、2名のオペレータがロボットを通して接客対応をします。個性豊かな生きものの展示に興味を持ってもらうための声掛けや来場客からの質問への対応を通して、これまでにない楽しい体験を提供するとともに、下記2点について調査しました。
ポストコロナにおける実店舗への来店客の増加見込みに対し、ロボットを活用した遠隔接客の有用性が注目される中、内閣府が主導する「ムーンショット型研究開発制度」において研究開発プロジェクトの1つとして「誰もが自在に活躍できるアバター共生社会の実現」が進められています。※4
遠隔接客では時間や場所の制約を受けずに接客業務ができるため、オペレータ1人でもフロア内の複数箇所や施設を横断したサービス提供が可能です。さらに多拠点での丁寧かつシームレスな対応が出来ることで、省人化および顧客満足度の向上が見込めます。
一方で複数体のアバターロボットを1人のオペレータで制御するには、基本的なタスクを処理する自律制御システムと、複雑な状況に人が介入対応する遠隔操作システムのハイブリッドな仕組みが必要です。オペレータが複雑な状況に即座に介入するには、ロボットが来場客に行った対話やサービスの履歴を、いかにオペレータへわかりやすく素早く伝えるかが大きな課題でした。
こうした背景のもと、2022年よりムーンショット型研究開発プロジェクト「誰もが自在に活躍できるアバター共生社会の実現」の一環として、名古屋大学の東中竜一郎教授・小川浩平准教授と共に本研究に関する取り組みを開始いたしました。
■実証実験概要
本実証実験では、「自律・遠隔接客ロボット」からオペレータへの最適な対話要約手法およびインタフェースの検討を行いました。
海遊館の運営する生きもののミュージアム「ニフレル」にて、大規模言語モデル（LLM）を用いた自律対話システムと、対話要約インタフェースを備えた遠隔操作システムを実装した展示案内アバターロボットを6体設置いたしました。
本実証実験において大規模言語モデルは自律対話システムのルールベースの応答と併用され、ニフレルの個別の情報を備えたプロンプトとともに応答生成に用いられました。また、対話要約インタフェースにおいては、対話形式の要約（対話履歴をより短い対話として表現したもの）の生成に用いられました。対話形式の要約は、対話の臨場感を維持できることが知られており、オペレータが対話を瞬時に把握することが可能となります。
今回、複数のアバターのサービス提供を支援するオペレータを2名配置し、そのオペレータたちが提案システムを利用してサービス提供のサポートをする様子を観察・分析いたしました。
●調査内容
6体のロボットを館内に配置し、来場客への館内案内・展示紹介を行います。
また、ロボットが適切に対応出来なかった場合に、2名のオペレータがロボットを通して接客対応をします。個性豊かな生きものの展示に興味を持ってもらうための声掛けや来場客からの質問への対応を通して、これまでにない楽しい体験を提供するとともに、下記2点について調査しました。
| ① 大規模言語モデルに基づく自律対話システムによる発話の正確性および対応が困難となる条件 ② 対話ロボットからオペレータへそれまでの対話を共有する際、要約の種別や方法による来場客満足度の変化 |
| 実証フィールド | NIFREL（ニフレル） |
| 日時 | 2023年2月6日(月)～2023年3月3日(金)（26日間） |
| 内容 | 複数台の「自律・遠隔接客ロボット」による、生きもののミュージアム施設における館内案内 |
| 協力 | 株式会社海遊館 |
■調査結果
複数人同時対話の枠組みを検証するため、計14万回以上の発話、および2,000回以上の介入に関するデータを収集しました。分析の結果、大規模言語モデルを適用したシステムは高度な自律対話を実現できることが分かりました。
一方で、ロボットが適切に対応できずオペレータが介入したデータを分析したところ、人物の認識やロボット周辺のリアルタイムな状況などが含まれる対話は、言語モデルから得られない情報に起因することが分かりました。
またオペレータは対話をモニタリングする画面において、音声認識結果をそのまま見るだけでなく、その自動要約結果も見ることができました。対話形式を要約したとき（長い対話を短い形式の対話として要約したもの）の方が、音声認識結果そのままを表示したときと比較し、対話のやり取りを瞬時に把握するために有効であることが示されました。
複数人同時対話の枠組みを検証するため、計14万回以上の発話、および2,000回以上の介入に関するデータを収集しました。分析の結果、大規模言語モデルを適用したシステムは高度な自律対話を実現できることが分かりました。
一方で、ロボットが適切に対応できずオペレータが介入したデータを分析したところ、人物の認識やロボット周辺のリアルタイムな状況などが含まれる対話は、言語モデルから得られない情報に起因することが分かりました。
またオペレータは対話をモニタリングする画面において、音声認識結果をそのまま見るだけでなく、その自動要約結果も見ることができました。対話形式を要約したとき（長い対話を短い形式の対話として要約したもの）の方が、音声認識結果そのままを表示したときと比較し、対話のやり取りを瞬時に把握するために有効であることが示されました。
■今後
本研究では、対話ロボットからオペレータへ会話を引き継ぐ際の対話要約の有用性に関する重要な知見を発見できたと考えています。今回発見した知見をもとにさらなる実験を行い、新たな有用な対話要約手法の探索や自律案内機能の改善・改良を行ってまいります。
「AI Lab」は今後も、大学・学術機関との産学連携を強化しながら様々な技術課題に取り組むとともに、「人とロボットが共生できる世界」を目指し、より一層ロボットを含めた対話エージェントによる接客対話技術の研究開発に努めてまいります。
※1 先端知能システム共同研究講座
2017年4月1日より発足した、サイバーエージェントAI Labと大阪大学大学院基礎工学研究科石黒浩教授との共同研究講座。人と社会において調和的に関わることができる、ロボットを含めた対話エージェントの実現に向けた基礎技術の確立及び、人の持つ対話能力に関する科学的な知見の獲得を目指しています。
※2 NIFREL（ニフレル）
「感性にふれる」をコンセプトとした生きもののミュージアム。展示は8つのゾーン【いろにふれる、わざにふれる、およぎにふれる、WONDER MOMENTS、かくれるにふれる、みずべにふれる、うごきにふれる、つながりにふれる】に分けられており、多種多様な生きものが120種類1,000匹飼育されています。
※3
https://hai-conference.net/hai2023/
Shota Mochizuki, Sanae Yamashita, Kazuyoshi Kawasaki, Reiko Yuasa Tomonori Kubota, Kohei Ogawa, Jun Baba, Ryuichiro Higashinaka
Investigating the Intervention in Parallel Conversations
In: HAI '23: Proceedings of the 10th International Conference on Human-Agent Interaction.
Sanae Yamashita, Shota Mochizuki, Kazuyoshi Kawasaki, Tomonori Kubota, Kohei Ogawa, Jun Baba, Ryuichiro Higashinaka
Investigating the Effects of Dialogue Summarization on Intervention in Human-System Collaborative Dialogue
In: HAI '23: Proceedings of the 10th International Conference on Human-Agent Interaction.
※4 「AI Lab」と大阪大学大学院基礎工学研究科の共同研究講座では、石黒浩教授がプロジェクトマネージャーとして推進している「ムーンショット型研究開発事業」の研究開発プロジェクト「誰もが自在に活躍できるアバター共生社会の実現」の一環として、2021年2月より「遠隔対話ロボットで働く」をテーマとした実社会における3つのフィールドで実証プロジェクトを行うほか、国際学会にて論文発表を行うなど、積極的な活動を行っております。
【本件に関するお問い合わせ先】
株式会社サイバーエージェント AI事業本部 広報
E-mail：cyberagent.ai_pub@cyberagent.co.jp
本研究では、対話ロボットからオペレータへ会話を引き継ぐ際の対話要約の有用性に関する重要な知見を発見できたと考えています。今回発見した知見をもとにさらなる実験を行い、新たな有用な対話要約手法の探索や自律案内機能の改善・改良を行ってまいります。
「AI Lab」は今後も、大学・学術機関との産学連携を強化しながら様々な技術課題に取り組むとともに、「人とロボットが共生できる世界」を目指し、より一層ロボットを含めた対話エージェントによる接客対話技術の研究開発に努めてまいります。
※1 先端知能システム共同研究講座
2017年4月1日より発足した、サイバーエージェントAI Labと大阪大学大学院基礎工学研究科石黒浩教授との共同研究講座。人と社会において調和的に関わることができる、ロボットを含めた対話エージェントの実現に向けた基礎技術の確立及び、人の持つ対話能力に関する科学的な知見の獲得を目指しています。
※2 NIFREL（ニフレル）
「感性にふれる」をコンセプトとした生きもののミュージアム。展示は8つのゾーン【いろにふれる、わざにふれる、およぎにふれる、WONDER MOMENTS、かくれるにふれる、みずべにふれる、うごきにふれる、つながりにふれる】に分けられており、多種多様な生きものが120種類1,000匹飼育されています。
※3
https://hai-conference.net/hai2023/
Shota Mochizuki, Sanae Yamashita, Kazuyoshi Kawasaki, Reiko Yuasa Tomonori Kubota, Kohei Ogawa, Jun Baba, Ryuichiro Higashinaka
Investigating the Intervention in Parallel Conversations
In: HAI '23: Proceedings of the 10th International Conference on Human-Agent Interaction.
Sanae Yamashita, Shota Mochizuki, Kazuyoshi Kawasaki, Tomonori Kubota, Kohei Ogawa, Jun Baba, Ryuichiro Higashinaka
Investigating the Effects of Dialogue Summarization on Intervention in Human-System Collaborative Dialogue
In: HAI '23: Proceedings of the 10th International Conference on Human-Agent Interaction.
※4 「AI Lab」と大阪大学大学院基礎工学研究科の共同研究講座では、石黒浩教授がプロジェクトマネージャーとして推進している「ムーンショット型研究開発事業」の研究開発プロジェクト「誰もが自在に活躍できるアバター共生社会の実現」の一環として、2021年2月より「遠隔対話ロボットで働く」をテーマとした実社会における3つのフィールドで実証プロジェクトを行うほか、国際学会にて論文発表を行うなど、積極的な活動を行っております。
| ■ムーンショット型研究開発制度 超高齢化社会や地球温暖化問題など重要な社会課題に対し、人々を魅了する野心的な目標（ムーンショット目標）を国が設定し、挑戦的な研究開発を推進する制度 ■ムーンショット目標１ 2050年までに、人が身体、脳、空間、時間の制約から解放された社会を実現 ■研究開発プロジェクト「誰もが自在に活躍できるアバター共生社会の実現」 プロジェクトマネージャー（PM） 石黒 浩（大阪大学 大学院基礎工学研究科 教授） [ムーンショット型研究開発制度 石黒プロジェクトマネージャーのコメント] 研究開発プロジェクト「誰もが自在に活躍できるアバター共生社会の実現」では、アバターが活躍する未来社会の実現を目指します。そのためには現時点での技術でアバターによりどのようなサービスが提供でき、どのような問題があるかを見定める実証プロジェクトにいち早く取り組むことが重要です。 |
【本件に関するお問い合わせ先】
株式会社サイバーエージェント AI事業本部 広報
E-mail：cyberagent.ai_pub@cyberagent.co.jp