プレスリリース
AI Lab、機械学習分野のトップカンファレンス「ICML2021」にて共著論文採択ー 異常検知・因果推論・推薦システムの開発などに応用可能な密度比推定の手法を提案 ー
株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証一部上場：証券コード4751）は、人工知能技術の研究開発組織「AI Lab」に所属する研究員の加藤真大と、東京大学の手嶋毅志氏による共著論文「非負ブレグマン距離に基づく深層密度比推定」が、機械学習分野の国際会議「ICML2021」(International Conference on Machine Learning ) ※1 に採択されたことをお知らせいたします。
「ICML」は世界中の研究者によって毎年開催される国際会議で、「NeurIPS」※2 と並び、機械学習の分野で権威あるトップカンファレンスの一つです。このたび「AI Lab」から採択された論文は、2021年7月にオンラインで開催される「ICML2021」で発表を行います。
■研究背景
近年様々なウェブサービスにおいて、機械学習を用いた意思決定がサービスの質を左右する重要な役割を果たしており、機械学習のタスクの多くは、データの確率密度の比（密度比）を求める事で解決することができます。
確率密度とは、「あるデータの出やすさ」を表すものです。例えば異常検知に機械学習を利用する場合は「正常なデータの確率密度」と「正常と異常が混じったデータの確率密度」の比を調べることで、比較したいデータの中から正常と異常を分類することが可能となります。また密度比は、異常検知以外にも「因果推論」や「ドメイン適応」といった機械学習の問題において有用であるとされています。
さらに、近年「深層学習」が画像や言語などの複雑なデータに対して有効であることが報告されており、こうしたデータを扱う状況での密度比の推定においても、深層学習を用いたアプローチを実現することが期待されています。
しかし、密度比の推定を深層学習で行うと、学習が不安定になるため実用化が難しいという課題がありました。
このような背景のもと、今回採択された論文では、深層学習を用いて密度比の推定を行う手法を提案し、画像の異常検知などの問題に対して優れたパフォーマンスを発揮することを実験で示しました。
■研究概要
本研究では、密度比の推定を深層学習で行う方法を提案しています。これまで、深層学習を用いた密度比の推定が難しかったという課題に対し、その発生原因を見つけるとともに、「非負化補正（non-negative correction）」と呼ばれる手法を用いることで問題を回避することができることを発見しました。
本提案手法のもとでは、「WideResNet」などの深層学習モデルを用いて密度比を推定することが可能であり、特定の状況下では深層学習による密度比推定を用いる異常検知が、既存の異常検知の手法と比べて優れたパフォーマンスを発揮することも実験で示しました。
また異常検知に加えて、「AI Lab」では今回の提案手法を「推薦のための高速・高精度なランキング学習を可能にする手法」（Togashi et al., The Web Conference 2021）の開発に応用することにも成功しています。
さらに、本提案手法は昨年の国際会議「NeurIPS」で「AI Lab」が発表した「外的妥当性の問題を考慮した因果推論」（Uehara et al., NeurIPS 2020）においても有用です。このような因果推論への応用において重要な提案手法の理論的性質も、今回採択された論文では示しています。
■今後
深層学習による密度比推定が応用できる問題は幅広く、「AI Lab」ではすでに提案手法を推薦システムの開発などに応用しています。現在は、敵対的生成モデルによる広告文のテキスト生成などへの応用も模索しています。
「AI Lab」は、今後もAI技術を用いた広告配信技術をプロダクトに取り入れるべく、より品質の高い広告配信技術の実現を目指し、研究・開発に努めてまいります。
※1 「ICML」International Conference on Machine Learning
※2 「NeurIPS」Neural Information Processing Systems
「ICML」は世界中の研究者によって毎年開催される国際会議で、「NeurIPS」※2 と並び、機械学習の分野で権威あるトップカンファレンスの一つです。このたび「AI Lab」から採択された論文は、2021年7月にオンラインで開催される「ICML2021」で発表を行います。
■研究背景
近年様々なウェブサービスにおいて、機械学習を用いた意思決定がサービスの質を左右する重要な役割を果たしており、機械学習のタスクの多くは、データの確率密度の比（密度比）を求める事で解決することができます。
確率密度とは、「あるデータの出やすさ」を表すものです。例えば異常検知に機械学習を利用する場合は「正常なデータの確率密度」と「正常と異常が混じったデータの確率密度」の比を調べることで、比較したいデータの中から正常と異常を分類することが可能となります。また密度比は、異常検知以外にも「因果推論」や「ドメイン適応」といった機械学習の問題において有用であるとされています。
さらに、近年「深層学習」が画像や言語などの複雑なデータに対して有効であることが報告されており、こうしたデータを扱う状況での密度比の推定においても、深層学習を用いたアプローチを実現することが期待されています。
しかし、密度比の推定を深層学習で行うと、学習が不安定になるため実用化が難しいという課題がありました。
このような背景のもと、今回採択された論文では、深層学習を用いて密度比の推定を行う手法を提案し、画像の異常検知などの問題に対して優れたパフォーマンスを発揮することを実験で示しました。
■研究概要
本研究では、密度比の推定を深層学習で行う方法を提案しています。これまで、深層学習を用いた密度比の推定が難しかったという課題に対し、その発生原因を見つけるとともに、「非負化補正（non-negative correction）」と呼ばれる手法を用いることで問題を回避することができることを発見しました。
本提案手法のもとでは、「WideResNet」などの深層学習モデルを用いて密度比を推定することが可能であり、特定の状況下では深層学習による密度比推定を用いる異常検知が、既存の異常検知の手法と比べて優れたパフォーマンスを発揮することも実験で示しました。
また異常検知に加えて、「AI Lab」では今回の提案手法を「推薦のための高速・高精度なランキング学習を可能にする手法」（Togashi et al., The Web Conference 2021）の開発に応用することにも成功しています。
さらに、本提案手法は昨年の国際会議「NeurIPS」で「AI Lab」が発表した「外的妥当性の問題を考慮した因果推論」（Uehara et al., NeurIPS 2020）においても有用です。このような因果推論への応用において重要な提案手法の理論的性質も、今回採択された論文では示しています。
■今後
深層学習による密度比推定が応用できる問題は幅広く、「AI Lab」ではすでに提案手法を推薦システムの開発などに応用しています。現在は、敵対的生成モデルによる広告文のテキスト生成などへの応用も模索しています。
「AI Lab」は、今後もAI技術を用いた広告配信技術をプロダクトに取り入れるべく、より品質の高い広告配信技術の実現を目指し、研究・開発に努めてまいります。
※1 「ICML」International Conference on Machine Learning
※2 「NeurIPS」Neural Information Processing Systems