AI Lab、計量経済学分野の国際ジャーナル「Econometric Reviews」にて論文採択

■背景

ビジネスにおける施策の効果検証は重要であり、そこでは因果推論や計量経済学が用いられています。従来の因果推論や計量経済学では、一般的には平均的な効果のみが推定されます。例えば、クーポン施策で「一人当たり100円売上が増加した」という結果が得られても、実際には1,000円売上が増えた人もいれば、全く変化のない人もいます。このように個人ごとで効果に違いがあるにもかかわらず、平均的な効果ではこのような違いは見落とされがちです。

さらに、分析するデータには購入がないユーザーも多く含まれるため、平均購買額は小さくなります。その結果、1,000円の割引をしても平均的な効果が10円や20円といった値になることがあります。結果として、平均だけでは実態がつかみにくく、ビジネスの直感に合わない議論になりがちです。

当社もこのような課題に直面しており、個々のユーザーごとの効果差に着目した分析手法の必要性を感じていました。

■論文の概要

「Regression Adjustment for Estimating Distributional Treatment Effects in Randomized Controlled Trials」
著者：岡達志（慶應義塾大学）・安井翔太（サイバーエージェント AI Lab）・早川裕太（サイバーエージェント AI事業本部）・ Undral Byambadalai（サイバーエージェント AI Lab※2）

本研究では、効果の分布を表すDistributional Treatment Effect(DTE)に着目し、A/Bテストが行われる状況で利用可能な推定手法を提案しました。提案手法は従来の手法に対して約20%推定の精度が改善されました。 従来の方法では、「施策を行ったグループの平均値がどれだけ上がったか」という平均的な効果に焦点が当てられていました。しかしDTEを用いることで、例えば「売上が高いユーザー数は増加したのか、あるいは売上が低いユーザー数が減少したのか」といった、より詳細な効果の内訳を明らかにできます。売上以外にも、例えばメディアサービスにおいてコンテンツをプロモーションした際に、5分程度視聴するライトユーザーを何人増やせたかといった疑問にも答えることが可能です。こうした情報は、今後のプロモーション設計やコンテンツ制作において非常に有益な示唆をもたらします。つまりDTEは、施策の検証結果をビジネス的により直感的なものにすることで、検証がビジネスにもたらす価値をより大きくします。 本研究ではさまざまなシミュレーションおよび実データを用いた評価を行い、提案手法の有効性を検証しました。その結果、提案手法が既存手法と比較してより精度の高い推定を提供することを確認しました。

■今後

本手法は、当社の提供するAI×経済学によって企業の価格最適化を支援する「価格エージェント」において応用されています。また、そのほかにもEコマースや小売における販促、メディアサービスでのプロモーションといったビジネス分野はもちろん、政策評価や医療分野における治療効果の分析をはじめ、多岐にわたる分野での活用が期待できます。

今後は、より広い学術分野で本手法が利用できるよう実装ライブラリの整備を進め、本研究を通じてデータドリブンな意思決定をさらに高度化させることを目指してまいります。


　
※1　Econometric Reviews
※2　所属は採択当時