開発・研究・組織貢献
機械学習エンジニアの挑戦が
プロダクトの未来を創る

技術・デザイン

2020年8月17日

2020年8月で設立1年を迎え、チャットボット「AI Messenger」などのAIサービスを展開している株式会社AI Shiftにて、データサイエンティスト・機械学習エンジニアとしてAIロジックの開発、データ分析・可視化を担当している友松、戸田、杉山。

プロダクト開発に加えて、産学連携を通したアカデミックな研究や学会発表、事業部全体を巻き込んだ施策など様々な挑戦を続ける3人に、開発と研究の双方に取り組むからこその気づきや、アウトプットを意識的に行う理由を聞きました。

チャットボット「AI Messenger」の肝は運用作業の自動化。
現場の課題に自然言語処理の技術でアプローチ

プロダクトの将来を見据えた産学連携の取り組み

プロダクトをスケールさせるために、組織を巻き込んでチャレンジし続ける

データを活かしてカスタマーサポートの新しい価値創出を目指す

Profile

友松祐太
株式会社サイバーエージェント AI事業本部 AI Shift Div. / 株式会社 AI Shift データサイエンティスト
明治大学大学院理工学研究科高木友博研にて自然言語処理、強化学習、推薦アルゴリズムの研究に携わり、2018年サイバーエージェントに新卒入社。株式会社AI Shift データサイエンスチーム兼データサイエンスセンターAI Shift Div.のリーダーとして、チャットボットプロダクト「AI Messenger」の研究開発、データビジュアライゼーションなどに従事している。
杉山雅和
株式会社サイバーエージェント AI事業本部 AI Shift Div. / 株式会社 AI Shift 機械学習エンジニア
大阪大学大学院情報科学研究科でバイオインフォマティクスを専攻し、SIer企業で自然言語処理やIoTといったデータ利活用分野の製品開発を経て2019年にサイバーエージェント入社。データドリブンなアプローチでの実課題の解決をミッションに掲げ、現在は自然言語処理アルゴリズムの実装とそのプロダクト化に従事。
戸田隆道
株式会社サイバーエージェント AI事業本部 AI Shift Div. / 株式会社 AI Shift 機械学習エンジニア
メーカー系SIer企業にて自然言語処理を用いたプロダクト開発に従事後、2019年にサイバーエージェント入社。現在はチャットボットプロダクト「AI Messenger」の研究開発に従事している。

チャットボット「AI Messenger」の肝は運用作業の自動化。
現場の課題に自然言語処理の技術でアプローチ

ーデータサイエンティスト・機械学習エンジニアとして、どのようにAIプロダクトの開発に携わっているのか教えてください。

優れたチャットボットというと、回答アルゴリズムの優秀さに目が行きがちですが、私たちはそのアルゴリズムが参照する回答データの品質を上げていくために「チャットボットが解決できなかった問い合わせを分析し、新たな回答を追加する」といった運用作業がより重要だと考えています。

しかしこれらは人手で行われており、時間や工数がかかる上に、回答精度にも大きく影響します。私たちはこのようなチャットボットを運用する現場の課題に対して、自然言語処理の技術を用いてアプローチをしています。

6月に提供を開始したチャットボットの運用サポート機能『AI Compass』は、まさに目的としていた運用の自動化を実現した機能で、「対話ログから問い合わせを抽出する」「問い合わせ一覧の視認性を上げる」「対応すべき問い合わせの優先度をつける」などのサポートが可能になりました。

ー課題に対してアプローチする。自然言語処理の技術をプロダクト導入するにあたり、どのようなことを意識したのでしょうか？

まずは運用者がどんな作業をしているのか、特に熟練の運用者の暗黙知による作業を明確にして、システムに落とし込むことを検討しました。これは一般的な自然言語処理タスクとは異なり、正解ラベルが無いのでどのように評価すれば良いのか迷う部分が多くあり、もっとアカデミックな視点を取り入れていくことが必要だと思いました。

ープロダクト開発にも、アカデミックな視点や最新の研究に関する情報を取り入れていくことが必要なんですね。

そうですね。最新の論文を追いかけていくのはもちろんですが、自分たちの開発成果を定期的に学会のようなアカデミックな方々が集まる場でアウトプットするようにしています。学会で得られたフィードバックをプロダクトに反映する際は、実運用に耐えうる手法として取り入れることを意識しています。

本来、最新の技術を適用したいところですが、自然言語処理の技術とは別に意識しなければならないことが多くあります。今回開発した『AI Compass』では、近年自然言語処理の領域において注目を集めているBERTという手法を導入したのですが、結果の解釈性も重要であるため、本当に僕らのプロダクトに適しているのか？と検討を重ねて慎重に進めました。

研究会での発表の様子(左：NLP若手の会2019、右：第10回対話システムシンポジウム)

プロダクトの将来を見据えた産学連携の取り組み

ー最新技術をプロダクトに導入していくことが正解とは限らないのですね。

実用的なサービスを作るには、必ずしも最先端の技術を盛り込む必要ありません。むしろ研究され尽くしてきたような技術を使ったり、機械学習を利用しなくても課題解決できてしまうシーンはよくあります。
その一方で、プロダクトをより成長させるという長期的な目線においては、日々進化している最先端の研究・技術を追い続けなければなりません。短期と長期、両方の目線で考えることが必要ですね。

最新の技術水準を知ることで、コアになる課題に対して何ができれば技術的な差別化となるのかを考えられるようになったり、他社がどういう技術を使っているかを理解することができます。

将来、プロダクトとして肝になりそうだが今すぐには実現できそうにないテーマに関しては、産学連携という形で大学の研究室と共同研究しながら実現の道を探っています。

ー大学との共同研究ではどのような取り組みをしているのでしょうか？

現在AI Shift社では、自然言語処理と音声対話の分野で４つの大学と連携して研究開発を行っています。その1つである東北大学乾研究室との共同研究では、「タスク指向対話」をテーマとしています。タスク指向対話は長い間研究されており、簡単なものであればシナリオを作り込めば実現可能ですが、私たちは文脈を考慮したより高度な対話の実現を目指しています。

東京都立大学小町研究室との共同研究では、これまでチャットオペレーター支援をテーマに取り組んできました。研究室のメンバーと共にAI Shift社が保有する沖縄チャットセンターを訪問し、現場の声をヒアリングし、具体的な研究内容を決めるなど行っていました。

現在は音声認識の誤りに関するテーマに取り組んでおり、プロダクト開発へ活かすことはもちろん、研究成果を論文としてアウトプットすることも目標にしています。

左：沖縄チャットセンターでの小町研究室との会議(2019年8月)
右：乾研究室のセミナーに登壇(2019年5月)

プロダクトをスケールさせるために、組織を巻き込んでチャレンジし続ける

ーこの1年間で、学会発表や大学との共同研究の他にもたくさんの発信がありましたね。なぜアウトプットを重視しているのでしょうか？

AI Shift社はスタートアップ企業のため、まだまだ知名度が低いです。社内外での知名度や技術的プレゼンスを上げること、そしてお客様にブラックボックスであるAIサービスを安心して使っていただくためにもアウトプットが重要だと考えています。
そのために、言語処理学会や人工知能学会などでの発表、テックブログを通した技術公開と合わせて、社員向けの取り組みも行っています。

ー社内向けにも積極的に技術共有やビジネスメンバー向けの勉強会、社内コンペの開催などをしていると聞きました。

これまでに、事業部内のカンファレンスであるAItech Developer Conferenceへの登壇や、エンジニア向けの機械学習ハンズオン、「AI Messenger」の独自データを使った機械学習コンペを開催したりしました。
他にも、営業をしているビジネス職のメンバーがAIプロダクトを提供する会社としてどのような技術が使われているかを理解し語れるようになれるよう、一年間に渡り機械学習や自然言語処理に関する勉強会を開催していました。

組織を良くするためにやりたいと思ったことに対してすぐにチャレンジできる環境がある。バックアップ体制も強いです。そしてそのチャレンジが自分やチームの評価にも繋がるカルチャーであることはとてもありがたく、やりがいを感じています。積極的に楽しんで参加してくれる社員が多いことも嬉しいですね。

ー自らのチャレンジで組織をより良くしたい、そう思える原動力はなんでしょうか？

プロダクトに対する愛着があるからですね。自分たちのロジックが実際にプロダクトに反映され、導入されたチャットボットに関わるたくさんの方からのフィードバックを聞けることはこのプロダクトならではの面白さだなと思っています。

その場限りで精度の良いモデルを作れば良いのではなく運用し続けていく必要があるので、日々の運用作業をスケールさせる方法や、作業の中で学習データを貯められる仕組みを作れるかなどを考えています。
また、最先端の技術を追い続けるという長期的な目標に向けても、AI事業本部の横軸組織であるAI LabやData Science Centerなどのメンバーに気軽に相談できる環境があることも大きいですね。

データを活かしてカスタマーサポートの新しい価値創出を目指す

ー最後に、今後のビジョンを教えてください

サービスの長期的な目標としては、カスタマーサポートのあらゆるデータを統合して、新しい価値を提供したいと考えています。電話やメールも含めたカスタマーサポートのデータを統合することで、シームレスな対応や回答精度の向上に繋げていきたいです。また、課題としている運用作業も、将来的にはAIが自動で行う未来を目指したいと思っています。
私個人としても、これらのデータの価値を最大化し、カスタマーサポートのあり方を変えるような分析・意思決定を推進できるデータサイエンス力を身につけていきたいです。

データが生み出す価値を最速で最大にできるエンジニアになりたいと考えています。そのため機械学習技術の深堀はもちろんのこと、その周辺分野であるデータ基盤やMLOpsにも引き続き注力していきたいと思います。また機械学習プロジェクトは適切な課題設定からデータ作成、モデル管理など従来のプロジェクト運営とは異なる難しさがありますが、共同研究や機械学習エンジニアとしての知見を活かして主体的に推進できるようになりたいです。

私はカスタマーサポートの価値を更に深堀りたいと考えています。ユーザーの問い合わせ対応だけでなく、その対応履歴から別の価値、例えば潜在的にユーザーが感じているサービスの不満点などを抽出できないか、と期待しています。そのために自然言語処理に加えて、他の機械学習技術や統計因果推論なども広く学んでいこうと思っています。