AI Lab、機械学習分野のトップカンファレンス「AISTATS 2026」にて論文採択

■背景
「AI Lab」ではマーケティング全般に関わる幅広いAI技術を研究・開発しており、大学・学術機関との産学連携を強化しながら様々な技術課題に取り組んでいます。特に強化学習領域の研究チームでは、インターネット広告における広告クリエイティブ選択などの逐次意思決定を対象に、意思決定プロセスを自動化・最適化する技術の確立を目指しています。

こうした意思決定戦略を実サービスへ導入するには、新規アルゴリズムが事前に定めた性能基準を満たすかを、限られた試行回数で高い信頼性をもって検証する必要があります。特にユーザーのログイン履歴などの状態履歴を活用できれば、より効率的な検証が可能になります。一方で、状態履歴を利用しつつ、誤判定確率を所定の水準以下に抑えながら必要試行回数を最小化する判定手法の設計は技術的に困難でした。

■論文の概要

このたび採択された「Policy Testing in Markov Decision Processes」では、逐次的意思決定の数理モデルであるマルコフ決定過程（以下MDP）において、与えられた方策（意思決定のルール）の性能が閾値を上回るかを最小限の試行回数で判定する「方策検定（Policy Testing）」を扱いました。

従来、理論的に最適な判定方法を構成する際に現れる最適化問題は、計算の複雑さから直接解くことが困難でした。本研究では、この最適化問題が方策学習問題へと変換可能であることを示し、機械学習で汎用的な勾配法を用いて効率的に解く手法を確立しました。 さらに、本手法が情報理論的な限界に達する最適な性能を持つことも証明しました。本成果は、MDPにおけるデータ効率の良い方策評価や探索の基盤技術となることが期待されます。

■今後
本手法により、意思決定戦略の導入前検証をより少ない試行で高い信頼性のもと実施できる可能性が広がります。広告クリエイティブ素材の自動選択や推薦システムへの応用を進め、継続的な性能改善と迅速な機能展開につなげていきます。
「AI Lab」は今後も、競争力あるプロダクトの中核となる技術の研究・開発を推進してまいります。


※1：「AISTATS 2026」29th Annual Conference on Artificial Intelligence and Statistics