秋葉原ラボ

秋葉原ラボは大規模データ処理やデータ分析、機械学習などを専門とするエンジニアが在籍する研究開発組織です。サイバーエージェントのメディアサービスから得られるデータを活用することで、メディアサービスと会社の発展に寄与することを目的として2011年4月、秋葉原にオフィスを開設しました。
サービスから日々生成されるユーザーのアクセスログや行動ログなどを大規模に集積、処理する基盤を整備し、その基盤上のデータを機械学習や自然言語処理技術などを用いてサービスに活かせるシステムを構築、提供しています。
また、基盤上のデータを分析、マイニングすることによりサービスやユーザーの状況を把握し、サービス拡大および健全化を図る基礎を担っています。

1. 大規模データ処理

1.1 データ解析基盤「Patriot」の構築・運用

秋葉原ラボでは、サイバーエージェントのメディア事業におけるデータ活用のために独自で「Patriot」と呼ばれるデータ処理基盤を開発・運用しています。当社のメディア事業ではAbemaTVやアメーバブログなど多種多様なサービスを提供しています。そのため、サービス利用のログデータは大量に発生し、ユーザーの利用方法や目的が一様ではないため、その利用ログデータは複雑化していきます。このようなデータを有効活用し、ユーザーの皆様がより便利に、快適に様々なサービスをご利用いただけるよう、サービスの状況把握のための各種レポートの生成や、レコメンデーション機能実現のための基盤が必要となり、「Patriot」を自社開発しました。
「Patriot」は、Apache Hadoopなどのオープンソースソフトウェア(OSS)を用いて構築しています。利用しているOSSについてはできる限り最新のバージョンを利用するようにしており、OSSコミュニティへの貢献を強化しています。また、パブリッククラウドの連携も行っており、データを集約しつつ用途に応じて多様な活用ができる環境整備を進めています。さらに、複雑化したデータ構造に対応するためのワークフロースケジューラ、データの品質・転送管理や可視化システムなどを独自に実装・導入するなど、分散システムやデータ工学に関する研究開発も行っています。

1.2 ストリーム処理エンジン「Zero」の開発・運用

「Zero」はストリーム処理基盤のひとつとして、秋葉原ラボで開発・運用を行っています。このシステムは、SQLライクな独自のクエリ言語「ZeroQL」を事前に記述しておくことで、当社が提供する様々なサービスで発生したログをリアルタイムに処理し、データストアに記録するものです。データストアとして主にApache HBaseを利用しており、記録されたデータはAPI経由で数ミリ秒～数十ミリ秒の低いレイテンシで取得でき、レコメンデーション、広告配信、プッシュ通知などの配信制御及び精度向上、また、各種指標のリアルタイムのレポーティングなどに活用されています。

1.3 大規模データを活用したレコメンデーションシステム

秋葉原ラボでは「Patriot」上の大規模データを活用し、閲覧や購買などの行動履歴を基に、ユーザー１人１人に合ったコンテンツのレコメンデーションを提供しています。
メディア事業では多種多様なメディアサービスを手がけており、その分レコメンデーションシステムへの要望も様々で管理や運用が大変になっていきます。こうした課題に向き合うために、開発したのがレコメンデーションに特化した汎用的なバッチフレームワークです。データソースやアルゴリズム、フィルタなどの処理のパイプラインをレシピと呼ばれる1つのファイルで管理することで、新規サービスの導入コストや運用コストの削減を実現しています。実行エンジンには Apache Sparkを利用しており、既存ライブラリのアルゴリズムの活用に加え、最新のアルゴリズムを独自で実装しています。
また、A/Bテストの機能やバンディットアルゴリズムを用いたコンテンツのリランキング、CTRなど各種指標のレポーティングの機能も取り入れており、各種メディアサービスが満足してレコメンデーションシステムを利用できる体制作りに取り組んでいます。

2.データマイニング

2.1 KPI設計とレポーティング

秋葉原ラボでは、「AbemaTV」や「AWA」などの各サービスが日々追いかけるべき指標、すなわちKPI（Key Performance Indicator/重要業績評価指標）を適切に設計する役割を担っています。KPIは、各サービスのプロデューサーやマーケティング部門と連携することで事業目標を把握し、データ解析基盤「Patriot」で収集されたデータを分析することで設定します。
また、設定されたKPIを定期的に把握するための定常レポートの作成も行っています。「Patriot」で収集されたデータは非常に膨大なため、中間処理を行った集計済みのデータをGoogle BigQueryに集約し、BIツール「Tableau」を用いてレポートの作成と可視化を行います。このようにして、サービスの関係者がKPIを常に確認できる環境を整備しています。

2.2 ユーザプロファイリング

秋葉原ラボではデータ処理基盤「Patriot」を用いて集められた大量で多種多様なデータを対象にした分析を日々行っています。「AbemaTV」や「アメーバブログ」等のメディア事業におけるデータ分析を通して、ユーザーがそれらのサービス内でどのように行動しているかを明らかにすることが我々の役目となっています。分析の結果はKPIの設計や施策の新提案、レコメンドへの改善等に活かされています。以下に具体的な事例を2点紹介します。
 

2.2.1 「AbemaTV」におけるユーザアクティブ度の定量化

「AbemaTV」においてユーザーのアクティブ度の定量化をしたいという要望と、ユーザーの離脱予測を精度高く行いたいという2つの要望がありました。そこで、ユーザーのアクティブ度が離脱継続を決めるというモデルをつくり2つの要望を一気に解決しました。利用した変数が正規分布ではないとう特徴だったため、モデルはMultivariate Adaptive Regression Splines(MARS)を選択しました。

その結果、ユーザーの継続に効果的な変数がわかりました。また、ユーザーのアクティブ度が定量化できたことで、アクティブ度の低下してきたユーザーに対して早めに検知して対策を行うことも可能になりました。

2.2.2 「AWA」におけるユーザ聴取トレンド変化の分析

「AWA」においてユーザーの聴取トレンド変化を分析することは以下の点で重要でした。①どのくらいの頻度で聴取トレンドが変化しているのかを把握することで、リタゲの対象期間を適切に設定できるようになる。②いつ聴取トレンド変化が起きるのかを知ることで、レコメンドの受け入れやすいタイミングにレコメンドをすることが可能となる。③ユーザー聴取トレンドの変化は、ユーザーにとって継続率向上に寄与しているかを知ることで、レコメンドでの多様性拡張をすべきか否かがわかる。
そこで、隠れマルコフモデル(HMM)を階層的に作ることによって大きなトレンドの変化と小さなトレンドの変化の２段階を検出するアプローチを下記の図のように実施しました。次に、第一階層(大きなトレンド変化)の推移回数と第二階層(小さなトレンド変化)の推移回数、調整項として利用頻度を説明変数とし、翌7日間中でのログイン日数を目的変数とした二項分布を仮定したGLMでモデリングを行いました。

その結果、大きな聴取トレンド変化は7日間に一回くらい生じており小さな聴取トレンド変化は4.8日に一回くらい生じていることが明らかとなりました。また、大きな聴取トレンド変化は平日の朝7-9時の間に生じることが多いことも明らかとなりました。最後に、大きな聴取トレンド変化はユーザーの継続にネガティブな影響がある一方、小さな聴取トレンド変化はユーザーの継続にポジティブな影響があることもわかりました。
 

2.3 Web社会の科学とビッグデータ

Webを介したオンラインコミュニケーションはいまや私達の日常生活の一部になっており、非常に多くの人が利用するとともに、そこでは様々な社会現象が発生しています。それはサイバーエージェントで開発・運営しているサービスも例外ではありません。そのような現象の理解・課題解決をするためには Web社会の現象を科学的に研究すること、それをサポートするための技術開発が必要です。
Webで発生している社会問題には、例えば炎上・ネットいじめ・フェイクニュース・社会的分断などが挙げられます。またこれらはWebの外の社会にも影響を与えます。炎上やネットいじめの被害者は精神的・金銭的な被害を被ることもあり、フェイクニュースや社会的分断は選挙の結果にも影響します。これらを解消・緩和し、Web社会を快適にすることは、Webサービスの活発な利用に繋がります。したがってこれらを研究し改善策を探ることはWebという世界でビジネスをしているサイバーエージェントにとっても重要です。
秋葉原ラボではWebサービスが生み出すビッグデータを用いてヒトや社会の理解にアプローチしています [1]。このようなビッグデータを用いた社会科学研究を計算社会科学と言い、現在は「ヒトの協調メカニズム [2-4]」、「コミュニケーションと社会構造 [5, 6]」、「仮想世界のソーシャルサポート」の研究をしています。