メディアの健全化を12年間支え続けてきた監視基盤システム「Orion」。生成AI時代における社会課題への向き合い方

── 現在のお仕事や役割について教えて下さい。

メディア統括本部 Data Science Centerで、監視基盤システム「Orion」の開発責任者を務めています。「Orion」は、私が2012年に新卒入社し研究開発部門に配属された時から関わっていて、「ネットメディアの健全化」を目的に開発された監視基盤システムです。「Orion」は2013年4月のリリースから現在に至るまで、サイバーエージェントの数々のメディアやサービスの健全化を支えてきました。

現在「Orion」は3名のエンジニアで開発/運用していますが、(株)シーエー・アドバンスによる有人監視体制を含めると、数十人のチーム規模となっていて、24時間365日の監視体制で運用しています。私はエンジニアリングマネージャーとして開発チームのマネジメントを行いつつ、MLエンジニアとしても機能実装に積極的に関わっています。

「Orion」は開発当初から「ネットメディアの健全化」を目標にしていましたが、健全化のために向き合う課題は、この12年で大きく変わったと感じます。特に「Orion」が対応してきた、SNSなどにおける悪質な誹謗中傷投稿は、世界的にも大きな社会問題になっていて、ネットメディアにも、法律や倫理に基づいた運用が一層求められているのが現状です。

そんな背景の中「Orion」が蓄積してきた12年間にわたる対策やノウハウは、ネットが社会に浸透した時代だからこそ、価値ある知見だと感じています。最近では「Orion」を通じて得た知識をIT業界やアカデミーに還元するため、学会で研究論文を発表する機会も増えてきました。

── 「Orion」を運用してきた12年を経て、ネットメディアをとりまく環境はどう変わってきたと感じますか？

「Orion」が誕生した2013年頃、ネットは新しい社会をつくる潮流として注目されていましたが、あくまで便利なツールやコミュニケーション手段として、社会の一部に存在していたというイメージです。そこから12年経った現在では、SNSが現実社会を動かしたり、ネットが社会インフラとして生活を支えているのが現状です。

こうした社会の変化の中、SNSやサービスにおける悪質な投稿も、この12年間で変容しています。特に近年、ニュースや新聞を見渡してみると、投資詐欺につながる著名人のなりすましやロマンス詐欺などに関する被害が全国的に多発しているのを確認できます。また、SNSやコミュニティアプリでのID交換を通じて、未成年の誘い出しが重大なトラブルに発展するケースも社会問題として深刻化していて、サイバーエージェントでもガイドラインに加え、課題解決に向けた産学連携での長年の研究を、論文として発表しています。

長く「Orion」を開発・運用して感じる課題感は、オンライン空間におけるイタチごっこが続いているという点です。例えば、誹謗中傷や悪意のある投稿、未成年者の誘い出しが発生すると、サービス側で対策を講じますが、フィルタリングを回避する隠喩や、捨てアカウントなどで対策を乗り越え再びそういった行動が発生し、サービス側が更に対策を講じるというイタチごっこが繰り返されています。

こういった課題感に対して「Orion」では機械学習を活用したフィルタリングの精度向上だけでなく、生成AIを活用して複雑化する誘い出しや詐欺への誘導コメントを検知するなど、AIとテクノロジーを活用した対策に力を入れています。

 

── 「Orion」を導入する事で、サービスの健全化がどのように担保されるのでしょうか？

例えば、投稿されたコメントに対して、誹謗中傷などの悪質なキーワードが含まれていないかをリアルタイムでフィルタリングする機能があります。問題のあるキーワードが検知された場合、即座にサービス担当者にフィードバックが送られ、警告表示や機能の一部制限など、具体的な対策が迅速に講じられる運用体制が整っています。このようにして、ユーザーが安心してサービスを利用できる環境を提供しています。

また、悪意あるユーザーが未成年の誘い出しを試みようとした場合には、具体的なキーワードが使用されていなくても、隠喩的な文章や表現を検知できるようにしています。さらに、巧妙に伏せられたID交換の誘いも検知できるようにしています。

「Orion」が一貫して大切にしているのは、問題のある投稿や行動を単に機械的に検知して即座に制限するのではなく、被害者になり得るユーザーへの警告表示やサービス側からのコンタクトを含む段階的なプロセスをサービスの要望のもと設定している点です。

多くのユーザーは健全にサービスを楽しんでいますが、一部の悪意あるユーザーや業者が詐欺や誘い出しに巧妙に誘導しようとするケースがあります。このようなリスクに直面しそうなユーザーに対しては、例えば「あなたの遊び方はトラブルに巻き込まれる可能性があります」と警告することで、ユーザーに冷静になってもらい、リテラシーや危機意識を高めてもらうことを目指しています。

こういった啓蒙的な取り組みは「Orion」だけでなく、サイバーエージェント全体のとりくみとして行われています。

── 有人監視をはじめとして人の判断が入るとは言え、サービスの投稿量は膨大で日々増えています。運用にボトルネックが生じたりはしませんか？

ネットの普及とサービスの成長に伴い、投稿量の母数も増加しています。それに加えて、複雑化・巧妙化する悪意ある投稿に対して、システム的にどのように先手を打っていくかは「Orion」チーム内の課題としてあがっていました。

そんな中、OpenAI社が2022年11月30日に「GPT-3.5」をリリースしました。これをきっかけに、サービスやプロダクトに生成AIを利活用するための議論が社内でも活発化し、「Orion」チームやサービス側とのミーティングでも、生成AIの活用について議論する機会が増えました。

「Orion」開発チームでも生成AIを活用したモック開発を進め、サイバーエージェント独自の日本語LLM「CyberAgentLM3」や「GPT」などを活用し、テストで作った多種多様な投稿の評価を生成AIに問い合わせると、それぞれの投稿がガイドラインに準拠しているかどうかの適切な判断が得られることがわかりました。

昨年サイバーエージェント社内で開催された「生成AI徹底活用コンテスト」に「Orion」の改善案を応募したところ、嬉しいことに受賞することができました。代表執行役員社長の藤田や、技術担当の専務執行役員である長瀬をはじめとする経営陣が「ネットメディアの健全化」を重要な経営課題として認識している中で、「Orion」の有用性や、生成AIを活用した今後の展開に期待してくれたのは非常に嬉しい出来事でした。

── 「Orion」開発チームでは、新メンバーを募集しています。どんなエンジニアと一緒に働きたいですか？

最近では、メディアだけでなくゲーム事業やインターネット広告事業からも「Orion」の導入に関して問い合わせが増えています。ゲームやメディア、エンタメの境界が薄れ、距離感が縮まっている中、これまでメディアで培ってきた対策が、他の事業に展開できると考えています。

例えば、ゲーム事業部が提供しているスマートフォンゲームでは、バーチャルライブイベントが開催され、何万人もの視聴者が集まるほどの盛り上がりを見せています。これだけたくさんの人が集まれば、時に投稿内容に問題が生じることも少なくありません。

このように「Orion」が誕生してから12年が経過する中で、当初掲げた「ネットメディアの健全化」のあり方は時代とともに進化し、求められる対策や技術も常に変わり続けています。

私たちの仕事は、AIやソフトウェア開発に閉じることなく、常にサービスに寄り添いながら、ユーザーがどんなことに喜びを感じ、どんな事に困っているかを理解する事が大切だと考えています。そして、新聞やニュースを通じて社会問題がどのように議論されているのかを把握し、サービス側と対話しながらどのような対処をすべきか方針を探り、その対処に抜け道がないかを技術的に検証するなど、多角的な発想や視野が求められる仕事です。

「Orion」の改善には終わりがないと思っています。ぜひ「技術を用いて社会課題の解決に挑みたい！」と思ってくれるようなエンジニアと一緒に働けたらと思っています。