企業戦略最適化のためのMulti-Armed Bandit: Thompson/UCB/Contextual手法の実装

1. はじめに: 企業における探索と活用のジレンマ

従来、事務用品の認定ベンダー 3 社を使用してきた調達部門を考えてみましょう。ベンダー A は、1 ユニットあたり 100 ドルで、不良率 2% で 3 日以内に納品します。ベンダー B は、1 台あたり 95 ドルで、不良率 1% で 5 日以内に納品します。ベンダー C は、1 台あたり 105 ドルで、不良率 4% で 2 日以内に納品します。新しいベンダー D が登場し、1 日配達、不良率 0.5% という未確認の主張を 1 台あたり 90 ドルで提供します。同部門は、既知の優良ベンダーへの発注を継続すべきでしょうか、それとも一部の注文をベンダー D の主張をテストするために変更すべきでしょうか?どれくらいの注文を迂回する必要がありますか?いつテストを中止すべきでしょうか?これは多武装バンディットの問題であり、企業はあらゆる運用ドメインにわたって毎日何千回もこの問題に直面しています。

この問題に対する従来の企業のアプローチは、純粋な活用 (機能するものに固執し、代替案をテストしない) か、構造化された A/B テスト (所定の期間、各バリアントに固定の割合を割り当て、結果を分析する) のいずれかです。どちらのアプローチも数学的には最適ではありません。純粋な搾取には、より優れた代替手段が存在する場合、無限の後悔が伴います。組織は機会費用を永久に支払うことになります。 A/B テストは静的に非効率です。証拠によって区別された後も、明らかに劣った亜種に等しいトラフィックを割り当て続けます。また、大きすぎる (リソースの無駄) または小さすぎる (決定的な結果が得られない) 可能性のある、事前に決定されたサンプル サイズが必要です。

マルチアーム バンディット アルゴリズムは、蓄積された証拠に基づいて割り当てを動的に調整することで両方の問題を解決します。彼らは有望な兵器をより頻繁に引き出すことで、より優れた代替兵器を検出するための十分な探査を維持しながら、探査コストを削減します。数学的保証はサブリニアリグレスです。つまり、探査の累積コストは時間の経過とともに直線的よりもゆっくりと増加します。これは、期間ごとの探査コストがゼロに近づくことを意味します。

1.1 アルゴリズムスタックの探索レイヤー

7 層のエージェント型企業アーキテクチャでは、探索層 (層 5) は制御層 (層 4、アクター-クリティック RL) の上、抽象化層 (層 6、PCA) の下に位置します。制御層は状態遷移を伴う逐次的な意思決定を処理しますが、探索層はステートレスまたは弱いステートフルな選択問題、つまり離散戦略からの選択、競合するオプション間でのリソースの割り当て、または連続パラメータの調整を処理します。違いは時間的な深さです。制御層は遅延報酬を使用して複数ステップの軌跡を最適化しますが、探索層は即時 (またはほぼ即時) のフィードバックで単一ステップの選択を最適化します。

探索レイヤーは、いくつかの重要なエンタープライズ機能を提供します。 |機能 |バンディットの配合 |腕 |報酬 | |---|---|---|---| |戦略 A/B テスト |ベータ ベルヌーイ トンプソン サンプリング |戦略のバリエーション |コンバージョン / 成功率 | |ダイナミックプライシング |コンテキスト盗賊 |価格帯 |トランザクションあたりの収益 | |リソース割り当て |組み合わせ盗賊 |リソース構成 |スループット/効率 | |優先スケジューリング |落ち着きのない盗賊 | 写真タスクの優先順位のルール | SLA遵守率 | |ベンダーの選択 |スイッチング コストを伴う MAB |認定ベンダー |品質調整後のコスト | |ゲート閾値調整 |ベイズ最適化 |しきい値 |ガバナンスの品質スコア |

1.2 紙の構成

セクション 2 では、多腕盗賊の問題を形式的に説明します。セクション 3 では、企業戦略の最適化のためのトンプソン サンプリングを開発します。セクション 4 では、UCB アルゴリズムとその企業的解釈について説明します。セクション 5 では、パーソナライズされた意思決定のためのコンテキスト バンディットを紹介します。セクション 6 では、連続戦略空間のベイズ最適化に拡張します。セクション 7 では、企業の解釈による後悔の限界を導き出します。セクション 8 では、実際の展開に関する考慮事項について説明します。セクション 9 では、MARIA OS 戦略エンジンの統合について説明します。セクション 10 では実験結果を示します。セクション 11 では、制限と拡張について説明します。セクション 12 は終了です。

2. 多腕盗賊問題: 正式な基盤

標準的な多腕バンディット問題は次のように定義されます。エージェントは K 個の武器 (戦略、オプション、代替案) に直面します。各ラウンド t = 1, 2, ..., T で、エージェントは {1, ..., K} のアーム I_t を選択し、平均 mu_{I_t} の分布 nu_{I_t} から引き出された報酬 X_{I_t, t} を受け取ります。エージェントの目標は、累積報酬を最大化すること、または同様に、累積後悔を最小限に抑えることです。

2.1 後悔の定義

mu = max_k mu_k を最適アームの平均報酬とし、Delta_k = mu - mu_k をアーム k の準最適ギャップとします。累積的な疑似後悔は次のとおりです。 $$ R_T = T \mu^* - \sum_{t=1}^{T} \mu_{I_t} = \sum_{k=1}^{K} \Delta_k \cdot \mathbb{E}[N_k(T)] $$ ここで、N_k(T) はアーム k が T ラウンドで引かれる回数です。この分解は基本的なものです。後悔は、ギャップと予想されるプル数のすべての準最適アームの合計です。後悔を最小限に抑えるには、最適でないアームを抽出する回数をできるだけ少なくしながら、それでも最適でないアームを特定するのに十分な情報を収集する必要があります。

2.2 情報理論の下限

ライ・ロビンスの下限は、どのアルゴリズムも以下より優れた後悔を達成できないことを確立しています。 $$ \liminf_{T \to \infty} \frac{R_T}{\log T} \geq \sum_{k: \Delta_k > 0} \frac{\Delta_k}{\text{KL}(\nu_k, \nu^)} $$ ここで、KL(nu_k, nu) は、アーム k と最適アームの報酬分布間のカルバック・ライブラー発散です。この限界は、対数リグレスがどのアルゴリズムでも達成できる最高のものであることを意味し、それを達成するアルゴリズムは漸近的に最適であると言われます。ベルヌーイの報酬の場合、KL(Ber(p), Ber(q)) = p log(p/q) + (1-p) log((1-p)/(1-q))。

2.3 企業による後悔の解釈

企業の文脈では、後悔には直接的な金銭的または運用上の解釈があります。 - 価格設定に関する後悔: すぐに最適な価格を設定しなかったために収益が失われます。最適価格で 1 取引あたり 50 ドルの収益が発生し、現在の価格で 1 取引あたり 45 ドルの収益が得られる場合、最適ではない価格での取引ごとに 5 ドルの損失が発生します。 - ベンダー選択の後悔: 最高のベンダーを使用しなかったため、品質調整後のコストプレミアムが支払われました。最適ではないベンダーに発注されるたびに、累積後悔額に Delta_k が追加されます。 - 承認ワークフローの後悔: 最適なゲートしきい値を使用しないことにより効率が失われます。最適ではないしきい値の下で処理される各決定により、処理時間の無駄が追加されます。 バンディット アルゴリズムのビジネス ケースは、線形リグレス (静的戦略) と対数リグレス (最適バンディット) の違いです。 T = 100,000 件の意思決定 (平均ギャップ デルタ = 5 ドル) を超えると、静的戦略では 50 万ドルが蓄積されます。Thompson のサンプリングでは約 5,000 ドル * log(100,000) = 57.5,000 ドルが蓄積されますが、これは桁違いの改善です。

3. 企業戦略の最適化のためのトンプソンサンプリング

トンプソン サンプリング (TS) は、事後サンプリングまたは確率マッチングとも呼ばれ、最適である事後確率に従ってアームを選択するベイジアン バンディット アルゴリズムです。各アームの報酬パラメータにわたる事後分布を維持し、各ラウンドで各事後分布からサンプルを取得し、最も高いサンプルを使用してアームを再生します。

3.1 ベータ ベルヌーイ モデル

バイナリ結果 (成功/失敗) の場合、自然共役モデルはベータ ベルヌーイです。各アーム k には真の成功確率 theta_k があります。事前分布は Beta(alpha_k^0, beta_k^0) で、S_k の成功と F_k の失敗を観察した後の事後分布は次のようになります。 $$ \シータ_k | \text{データ} \sim \text{Beta}(\alpha_k^0 + S_k, \; \beta_k^0 + F_k) $$ 各ラウンドで、トンプソン サンプリングは各アームに対して theta_hat_k ~ Beta(alpha_k^0 + S_k, beta_k^0 + F_k) を描画し、I_t = argmax_k theta_hat_k を選択します。このアプローチの優れた点は、事後不確実性が高い (観測値が少ない) アームは高いサンプルを生成する可能性が高く、自然に探索を促進する一方、事後平均が高いアームは最高のサンプルを生成する可能性が高く、自然に活用を促進することです。

3.2 ベータ ベルヌーイ トンプソン サンプリングのエンタープライズ アプリケーション

ベータ-ベルヌーイ モデルは、二者択一の結果をもたらすあらゆる企業の意思決定に適用されます。 1. 承認率の最適化: 承認ワークフローの各バリアント (さまざまな証拠要件、さまざまなレビュー担当者の割り当て) が 1 つのアームです。成功 = SLA 内で承認されました。トンプソン サンプリングにより、承認率を最大化するワークフローが特定されます。 2. コンバージョンの最適化: それぞれの販売スクリプト、価格設定、またはアウトリーチ テンプレートがアームです。成功 = 顧客のコンバージョン。トンプソン サンプリングでは、探索を維持しながら、コンバージョン率の高いバリアントにより多くのトラフィックを割り当てます。 3. コンプライアンス合格率: 各コンプライアンスチェック手順は 1 つのアームです。成功 = 決定は監査に合格します。トンプソン サンプリングにより、初回通過監査率を最大化する手順が特定されます。 4. エージェント タスクの割り当て: 各エージェント タスク割り当てポリシーはアームです。成功 = 品質と時間のしきい値内でタスクが完了しました。トンプソンサンプリングは最適な割り当てポリシーを学習します。

3.3 エンタープライズ設定の事前選択

事前のハイパーパラメータ alpha_k^0 および beta_k^0 の選択により、ドメインの知識がエンコードされます。企業環境では、次の 3 つの事前戦略をお勧めします。 - 情報のない事前計算: Beta(1, 1) = Uniform(0, 1)。履歴データが存在しない場合に使用されます。最も多くの探索が必要です。 - 過去の事前: Beta(alpha_H, beta_H) ここで、alpha_H と beta_H は過去の成功/失敗数から計算されます。パフォーマンス記録のあるルールベースのシステムから移行する場合に使用されます。 - 保守的な事前確率: Beta(1, c)、c > 1 は悲観的な事前確率をエンコードします (低い成功確率を仮定)。誤った楽観主義のコストが発見の遅れのコストを超える、高リスクの実験に使用されます。 MARIA OS では、事前確率は証拠システム内の過去の決定データから自動的に初期化されます。新しい戦略バリアントが導入されると、その事前確率は母集団の平均に設定され、合理的な値が提供されます。手動で指定する必要がなく、開始点から開始できます。

3.4 ガウス報酬を使用したトンプソン サンプリング

継続的な報酬 (収益、処理時間、品質スコア) の場合、共役モデルは正規-正規です。各アーム k には、分散が既知の報酬 X_{k,t} ~ N(mu_k, sigma_k^2) があります。標本平均 x_bar_k による n_k 回の観測後の mu_k の事後分布は次のようになります。 $$ \mu_k | \text{data} \sim N\left( \frac{\sigma_k^{-2} n_k \bar{x}_k + \sigma_0^{-2} \mu_0}{\sigma_k^{-2} n_k + \sigma_0^{-2}}, \; \frac{1}{\sigma_k^{-2} n_k + \sigma_0^{-2}} \右) $$ トンプソン サンプリングでは、これらの事後分布から抽出し、最も高いサンプルを持つアームを選択します。事後分散は 1/n_k として縮小し、十分に探索されたアームがその平均に基づいて選択されるようにしますが、探索が不十分なアームは高い分散と、探索を促進する時折の高いドローを保持します。

4. 信頼限界アルゴリズムの上限

トンプソン サンプリングがベイジアンで確率的であるのに対し、上限信頼限界 (UCB) アルゴリズムは頻度主義的で決定論的です。 UCB は、経験的平均に不確実性を反映した信頼ボーナスを加えた楽観的な推定に基づいてアームを選択します。

4.1 UCB1 アルゴリズム

UCB1 アルゴリズムは、以下を最大化するアームを選択します。 $$ I_t = \arg\max_k \left[ \bar{X}_k + \sqrt{\frac{2 \ln t}{N_k(t)}} \right] $$ ここで、X_bar_k はアーム k の経験的平均報酬、N_k(t) はプルの数です。信頼度ボーナス sqrt(2 ln(t) / N_k(t)) は、アーム k の引き出しが増えると減少し (搾取)、総ラウンド数 t が増えると増加します (探索の継続が保証されます)。 UCB1 は O(K log(T) / Delta) リグレスを達成し、ライ・ロビンスの下限を定数まで一致させます。

4.2 より厳しい境界のための KL-UCB

KL-UCB は、Hoeffding ベースの信頼度ボーナスを KL 発散ベースのボーナスに置き換えて、Lai-Robbins の下限を正確に達成します。 $$ I_t = \arg\max_k \left\{ q \in [0, 1] : N_k(t) \cdot \text{KL}(\bar{X}_k, q) \leq \ln(t) + c \ln(\ln(t)) \right\} $$ 選択されたアームは、(KL 発散制約によって決定される) もっともらしい最大平均が最も高いアームです。 KL-UCB は、Hoeffding 境界が緩いベルヌーイ報酬に特に効果的です。企業の承認率の最適化において、KL-UCB は UCB1 よりも 20 ～ 30% 速く最適な承認ワークフローに収束します。

4.3 エンタープライズ UCB 拡張機能

いくつかの UCB バリアントは企業固有の要件に対応します。 切り替えコストを伴う UCB。 戦略を変更すると、運用コスト (再トレーニング、コミュニケーション、プロセスの再構成) が発生します。 UCB-S は、インデックスに切り替えペナルティを追加します。 $$ I_t^{\text{UCB-S}} = \arg\max_k \left[ \bar{X}_k + \sqrt{\frac{2 \ln t}{N_k(t)}} - c_{\text{switch}} \cdot \mathbb{1}[k \neq I_{t-1}] \right] $$ スイッチング コスト c_switch は、アーム間の急速な切り替えを防止し、より安定した戦略選択を生成します。 フィードバックが遅れる UCB。 企業の成果は遅れて届くことがよくあります (監査結果には数日かかり、顧客維持率は数か月かけて測定されます)。 UCB-D は、保留中の観測値の数に基づいて信頼度ボーナスを調整することで、保留中の結果を考慮します。 公平性制約のある UCB。 一部の企業設定では、各部門への最小限の割り当てが必要です (例:すべてのベンダー オプションをテストします)。制約付き UCB では、各アームがプルの少なくとも p_min 部分を受け取り、それ以外の場合は UCB インデックスを最大化します。

5. パーソナライズされた企業の意思決定のためのコンテキストバンディット

標準的な盗賊は、報酬の分布が定常であると仮定します。つまり、アーム k を引くたびに同じ分布が得られます。企業の設定ではコンテキストが重要です。最適な価格設定戦略は顧客セグメントに依存し、最適なエスカレーション ルーティングは問題の種類に依存し、最適なゲートしきい値はエージェントの最近のパフォーマンスに依存します。コンテキスト バンディットは、MAB フレームワークを拡張して、監視可能な機能を組み込みます。

5.1 文脈に応じたバンディットの定式化

各ラウンド t で、エージェントは R^d のコンテキスト ベクトル x_t を観察し、{1, ..., K} でアーム I_t を選択し、報酬 r_t = f_{I_t}(x_t) + epsilon_t を受け取ります。ここで、f_k はアーム k の未知の報酬関数、epsilon_t はゼロ平均ノイズです。目標は、コンテキスト依存の最適アームを学習することです。 $$ \pi^*(x) = \arg\max_k \mathbb{E}[r | x, k] = \arg\max_k f_k(x) $$

5.2 線形コンテキストバンディット (LinUCB)

LinUCB は、報酬がコンテキストの線形関数であると仮定します: f_k(x) = theta_k^T x ここで、R^d の theta_k はアーム k の未知のパラメーター ベクトルです。このアルゴリズムは、各アームの正規化された最小二乗推定値と信頼楕円体を維持します。 $$ \hat{\theta}_k = (X_k^T X_k + \lambda I)^{-1} X_k^T r_k $$ そして、UCB を最大化するアームを選択します。 $$ I_t = \arg\max_k \left[ \hat{\theta}_k^T x_t + \alpha \sqrt{x_t^T (X_k^T X_k + \lambda I)^{-1} x_t} \right] $$ 信頼度ボーナスはコンテキストに依存します。つまり、アーム k が探索していない特徴空間の方向でより大きくなります。 LinUCB は O(d sqrt(T K * log(T))) の後悔を達成しました。

5.3 エンタープライズコンテキストバンディットアプリケーション

顧客コンテキストに応じた動的な価格設定。 コンテキスト機能には、顧客セグメント、購入履歴、時刻、競合他社の価格設定が含まれます。武器は価格です。盗賊は、顧客の状況ごとにどの価格が収益を最大化するかを学習します。 MARIA OS では、価格設定バンディットは販売ユニバース内で動作し、ゲート制約により価格が承認された範囲内に留まることが保証されます。 問題コンテキストを使用したエスカレーション ルーティング。 コンテキスト機能には、問題カテゴリ、顧客センチメント スコア、エージェントの可用性、および過去の解決率が含まれます。アームはルーティング先 (Tier 1 サポート、専門家チーム、マネージャー エスカレーション) です。バンディットは、問題の種類ごとに最初の問い合わせ解決を最大化するルーティングを学習します。 エージェント コンテキストによるゲートしきい値の適応。 コンテキスト機能には、エージェントの信頼スコア、最近のエラー率、タスクの複雑さ、時刻が含まれます。アームは閾値構成です。バンディットは、各エージェント コンテキストの自律性と監視の間のトレードオフを最適化するゲート構成を学習します。

5.4 ニューラルコンテキストバンディット

報酬関数がコンテキスト内で非線形である場合、f_k(x) がニューラル ネットワークによってパラメーター化されるニューラル コンテキスト バンディットを使用します。主な課題は不確実性の定量化です。ニューラル ネットワークは点推定値を提供しますが、信頼区間は提供しません。私たちは次の 2 つのアプローチを通じてこれに対処します。 アンサンブルの不一致。 異なるランダム初期化を使用して M 個のネットワークのアンサンブルを学習させます。予測はアンサンブル平均であり、信頼度ボーナスはアンサンブル標準偏差に比例します。これにより、事後不確かさに対する計算上扱いやすい近似が得られます。 ニューラル トンプソン サンプリング。 学習された特徴に対するベイジアン線形回帰を使用して、ニューラル ネットワークの最終層の重みにわたる分布を維持します。ネットワーク本体は特徴表現 phi(x) を提供し、最後の層の重みは事後からサンプリングされます。 $$ w_k | \text{データ}\sim N(\hat{w}_k, \sigma^2 (\Phi_k^T \Phi_k + \lambda I)^{-1}) $$ これは、ニューラル ネットワークの表現力とトンプソン サンプリングの原理に基づいた探索を組み合わせたものです。

6. 連続戦略空間のベイジアン最適化

戦略空間が離散的ではなく連続的である場合 (ゲートしきい値を [0, 1] で調整する場合、弾力性と基本価格によってパラメーター化された価格設定曲線を最適化する場合、またはリソース割り当て比率を構成する場合)、MAB フレームワークはベイジアン最適化に拡張されます。

6.1 ガウス過程サロゲート

ベイズ最適化は、未知の目的関数 f(x) をガウス過程としてモデル化します: f ~ GP(mu, k) ここで、mu は事前平均関数、k はカーネル関数です。 n 個のデータ点 D_n = {(x_i, y_i)}_{i=1}^n (y_i = f(x_i) + epsilon_i) を観測した後の事後分布は次のようになります。 $$ f | D_n \sim \text{GP}(\mu_n, k_n) $$ 事後平均 mu_n(x) = k(x, X)(K + sigma^2 I)^{-1} y および事後分散 k_n(x, x') = k(x, x') - k(x, X)(K + sigma^2 I)^{-1} k(X, x')。事後分布は、戦略空間内の任意の点での予測 (平均) と不確実性の推定 (分散) の両方を提供します。

6.2 取得関数

取得関数は、探索 (高い不確実性) と活用 (高い予測値) のバランスをとりながら、次に評価する点を決定します。一般的な 3 つの選択肢: 期待される改善 (EI): $$ \text{EI}(x) = \mathbb{E}[\max(f(x) - f^+, 0)] = (\mu_n(x) - f^+) \Phi(z) + \sigma_n(x) \phi(z) $$ ここで、f^+ は最良の観測値、z = (mu_n(x) - f^+) / sigma_n(x)、Phi、phi は標準の正規 CDF および PDF です。 信頼限界の上限 (GP-UCB): $$ \text{UCB}(x) = \mu_n(x) + \beta_t \sigma_n(x) $$ ここで、 beta_t = 2 log(t^{d/2+2} pi^2 / 3 delta) は、頻度主義的な信頼度の保証を提供します。 知識勾配 (KG): $$ \text{KG}(x) = \mathbb{E}[\mu_{n+1}^ - \mu_n^ | x_{n+1} = x] $$ これは、x を評価した後の最良の予測値における期待される改善を測定します。 KG は、各評価に費用がかかるエンタープライズ設定 (例:7 日間の A/B テスト)。

6.3 エンタープライズ ベイジアン最適化アプリケーション

ゲートしきい値の最適化。 目的は、[0, 1] のゲートしきい値 tau の関数としてのガバナンス品質スコア (他人受入率、本人拒否率、および処理待ち時間の複合値) です。ベイジアン最適化は、グリッド検索よりもはるかに少ない評価を使用して、品質を最大化するしきい値を見つけます。 Matern 5/2 カーネルを使用すると、GP はしきい値と品質の間の典型的な非単調な関係を捉えます。低すぎると有害なアクションが許可され、高すぎると生産的なアクションがブロックされます。 価格設定曲線の最適化。 目標は、価格弾力性イプシロンと基本マークアップ m の関数としての収益です。検索空間は 2D 長方形 [0.5, 3.0] x [1.1, 2.5] です。ベイジアン最適化では、30x30 グリッド検索の場合は 900 以上であるのに対し、約 30 の評価で収益を最大化する価格設定曲線が見つかります。 リソース割り当て比率。 目標は機能としてのスループットです。シンプレックス制約の対象となる、N 個のタスク タイプのそれぞれに割り当てられるコンピューティングの割合。シンプレックスでのベイジアン最適化は、割り当ての合計が 1 になるという制約を尊重しながら、スループットを最大化する割り当てを見つけます。

7. 後悔の限界と企業の解釈

リグレス限界は学習のコストを決定するため、企業の導入にはリグレス限界を理解することが不可欠です。バンディット アルゴリズムを導入する CEO は、アルゴリズムが収束するまでの探索段階でどれだけの収益が失われるのかを知る必要があります。

7.1 リグレット境界の概要

7.2 対数的後悔保証

企業展開にとって最も重要な結果は、適切に設計されたすべてのバンディット アルゴリズムが対数リグレス値 R_T = O(log T) を達成することです。これは次のことを意味します。 - 100 ラウンド後: 約 23 C (C はアルゴリズムに依存する定数) を後悔します。 ・1000発後：後悔約35×C - 10,000発後：後悔約46 C ・10万発後：後悔約58×C ラウンド 1,000 からラウンド 100,000 (追加の 99,000 ラウンド) までのリグレスは、累積リグレスに 23 * C だけ追加されます。これは最初の 100 ラウンドと同じです。これにより、学習コストが大幅に前倒しされます。ほとんどの探索は早期に行われ、証拠が蓄積されるにつれてシステムは最適な戦略をますます活用します。

7.3 トンプソンサンプリングに対する有限時間ベイズリグレット

ベータ-ベルヌーイ モデルの場合、トンプソン サンプリングのベイジアン リ後悔は次の条件を満たします。 $$ \mathbb{E}[R_T] \leq \sum_{k: \Delta_k > 0} \left( \frac{\Delta_k}{\text{KL}(\mu_k, \mu^*)} + C_k \right) \ln T $$ ここで、C_k は事前の影響を捉える問題依存の定数です。有益でない事前の Beta(1,1) では、C_k は小さくなります。強力な情報を提供する事前分布が正しい場合、C_k は負になる可能性があります (事前分布は収束を加速します)。情報量の多い事前分布が間違っていると、C_k が大きくなる可能性があります (事前分布が収束を遅らせる)。これは、セクション 3.3 で説明されている慎重な事前選択戦略の動機となります。

8. 実際の導入に関する考慮事項

エンタープライズ環境にバンディット アルゴリズムを導入すると、理論的枠組みでは対処できない課題が生じます。

8.1 非定常性とドリフト

企業の報酬配分は時間の経過とともに変化します。顧客の嗜好は進化し、市場状況は変化し、規制要件は更新されます。定常バンディット アルゴリズムは、以前は最適であったアームに収束しますが、アームは最適ではなくなります。私たちは 3 つのメカニズムを通じて非定常性に対処します。 スライディング ウィンドウ トンプソン サンプリング。 すべての履歴データを使用する代わりに、最新の W 観測のウィンドウを維持します。事後分布は Beta(alpha_0 + S_k^W, beta_0 + F_k^W) で、S_k^W と F_k^W はウィンドウ内の成功と失敗を表します。これにより、古い情報は忘れられ、流通の変化に適応します。 UCB の割引。 最新度による観測値の重み付け: 最近の観測値は、経験的平均と信頼度ボーナスにより多く寄与します。割引された経験的平均は、X_bar_k^gamma = sum_t gamma^{T-t} X_{k,t} / sum_t gamma^{T-t} です。ここで、(0,1) のガンマは割引係数です。変化点検出。 CUSUM またはベイジアン変化点検出を使用して、事後分布の急激な変化を監視します。変化点が検出されると、腕の後部を前部にリセットし、再探索を一気に開始します。変更が頻繁ではないが突然である場合、これはスライディング ウィンドウよりも効率的です。

8.2 バッチ更新

エンタープライズ システムでは、多くの場合、意思決定を一度に 1 つずつではなくバッチで処理します。バッチ化されたトンプソン サンプリングでは、アルゴリズムは B 個のアクションを同時に選択し (バッチ要素ごとに 1 つ)、事後更新前にすべての B 報酬を観察します。課題は、すべての B 選択が同じ事後分布を使用しており、探索が不十分である可能性があることです。事後摂動を追加することでこれを軽減します。バッチ内の各要素について、サンプリング前に事後パラメータに小さなランダムな摂動を追加し、バッチ内のアーム選択の多様性を確保します。 $$ \theta_{k,b} \sim \text{Beta}(\alpha_k + \epsilon_b, \; \beta_k + \epsilon_b') \quad \text{where } \epsilon_b, \epsilon_b' \sim \text{Uniform}(0, \sigma_{\text{perturb}}) $$

8.3 探査中の安全上の制約

企業の探査では安全境界を尊重する必要があります。価格設定強盗は、0 ドル (収益破壊) や 10,000 ドル (顧客疎外) の価格を探ることはできません。アームセットを安全なオプションに制限することで、安全上の制約を課します。 $$ A_{\text{safe}} = \{ k \in \{1, ..., K\} : P(r_k < r_{\min}) < \delta \} $$ ここで、r_min は許容可能な最小報酬であり、delta は安全許容値です。ベータ ベルヌーイ モデルでは、この制約は事後 CDF を使用して分析的に計算されます。後部の位置が安全閾値を下回る可能性が大きすぎるアームは、より多くの証拠が蓄積されるまで選択から除外されます。

9. MARIA OS 戦略エンジンの統合

MARIA OS 戦略エンジンは、複数のアルゴリズム バックエンドをサポートし、プラットフォームのガバナンス インフラストラクチャと統合するモジュラー バンディット サービスを通じて探索レイヤーを実装します。

9.1 戦略エンジンのアーキテクチャ

戦略エンジンは 4 つのコンポーネントで構成されます。 1. 実験レジストリ: アーム セット、コンテキスト機能、報酬定義、および安全制約を含むアクティブな実験を定義します。実験の範囲は MARIA 座標に限定されます。G1.U1 (Sales Universe) の価格設定実験は、G1.U3 (FAQ Universe) のルーティング実験から独立しています。 2. アルゴリズム バックエンド: 報酬タイプ (バイナリまたは連続)、コンテキストの可用性、および収束要件に基づいて実験ごとに選択される、プラグイン可能なバンディット アルゴリズム (トンプソン サンプリング、UCB1、KL-UCB、LinUCB、GP-UCB)。 3. 意思決定ゲートウェイ: 戦略の決定をゲート境界で傍受し、アクティブな実験のバンディット アルゴリズムを通じてルーティングします。エージェントが戦略を選択する必要がある場合、ゲートウェイはアルゴリズムに推奨事項を照会し、選択を記録します。 4. 結果トラッカー: 意思決定の結果を監視し、報酬をアルゴリズムにフィードバックします。保留中の結果バッファを維持し、結果が到着したときに事後値を更新することにより、遅延フィードバックを処理します。

9.2 座標スコープの実験

MARIA OS の実験は特定の MARIA 座標に限定されており、階層戦略の最適化が可能です。 $$ \text{実験}(G_i.U_j.P_k) \implies \text{} 内のすべてのエージェント Z_l.A_m \text{ } P_k \text{ が参加} $$ 銀河レベルの実験では、すべてのビジネスユニットにわたる戦略をテストします。宇宙レベルの実験では、単一のビジネス ユニット内の戦略がテストされます。惑星レベルの実験では、ドメイン内の戦略をテストします。このスコープ設定により、実験結果が運用コンテキストに関連し、祖先レベルからのゲート制約が尊重されることが保証されます。

9.3 ガバナンスの統合

戦略エンジンは、あらゆるレベルで MARIA OS ガバナンスを尊重します。 - アームの承認: 新しい戦略バリアントは、実験のアーム セットに追加される前にゲート レビューに合格する必要があります。これにより、テストされていない戦略やリスクの高い戦略が探査プールに入るのを防ぎます。 - 探査予算: 各実験には最大の探査割り当てがあります (例: 「調達決定の 20% を超えて実験に使用することはできない」)。バンディット アルゴリズムはこのバジェット内で動作し、割り当てられた部分に探索を集中させます。 - 結果監査: すべてのアーム選択と報酬観察は証拠システムに記録され、組織の探索行動の完全な監査証跡が作成されます。 - 異常時のエスカレーション: バンディット アルゴリズムが一貫して悪い結果 (連続 n ラウンドで安全しきい値を下回る報酬) を生み出すアームを選択した場合、戦略エンジンは人間のレベルにエスカレーションします。レビュー。

10. 実験結果

MARIA OS 内の 3 つのエンタープライズ最適化シナリオにわたって Bandit フレームワークを評価します。

10.1 実験 1: 承認ワークフローの最適化

セットアップ 5 つの承認ワークフロー バリアント (証拠要件、レビュー担当者の割り当てルール、SLA 目標が異なる) を 60 日間にわたって 8,000 件の承認リクエストにわたってテストしました。バイナリ報酬: SLA 内で承認された場合は 1、それ以外の場合は 0。 結果。 トンプソン サンプリングにより、14 日以内に最適なワークフロー (バリアント C、ターゲットを絞った証拠要件とワークロードのバランスが取れたレビュー担当者の割り当て) が特定され、承認率 87.3% を達成したのに対し、最悪のバリアントでは 79.1% を達成しました。累積後悔: 探索中に失われた承認日数 412 日。イプシロン貪欲 (イプシロン = 0.1) の場合は 31 日を要し、承認日の 1,537 日間の後悔が蓄積されました。これは 3.7 倍悪かったです。 UCB1 はトンプソンサンプリング (16 日間、後悔 489 件) と同等のパフォーマンスを示しましたが、アーム選択動作は直感的ではありませんでした。

10.2 実験 2: 動的価格設定

セットアップ。 12 のコンテキスト機能 (顧客セグメント、購入履歴、時刻、競合他社の価格、在庫レベルなど) とカテゴリごとに 8 つの価格ポイントを備えた 3 つの製品カテゴリ用のコンテキスト バンディット (LinUCB)。継続的な報酬: トランザクションごとの収益。 結果。 90 日間および 45,000 件のトランザクションにわたって、LinUCB は静的な価格設定ルールと比較して 8.7% の収益増加を達成しました。コンテキスト モデルは意味のある価格設定パターンを学習しました。緊急性の高い状況にある企業顧客は、価格に対する感度が低く (最適価格はベースラインより 15% 上)、価格に敏感なセグメントはオフピーク時間帯の動的な割引に反応しました (最適価格は午前 2 時から 6 時の間はベースラインより 8% 下です)。収益の増加は前倒しで、最初の 30 日間で 5.2%、60 日目までに 7.9%、90 日目までに 8.7% となりました。

10.3 実験 3: ゲートしきい値の調整

セットアップ ゲートの 4 つの次元 (財務リスク、コンプライアンス リスク、運用リスク、証拠の品質) にわたるゲートしきい値調整のためのベイジアン最適化 (Matern 5/2 カーネルを使用した GP-UCB)。 [0, 1]^4 の連続検索空間。目的: 複合ガバナンス品質スコア (他人受け入れ率、他人拒否率、平均処理待ち時間の重み付けされた組み合わせ)。 結果。 ベイズ最適化により、28 の評価でガバナンス品質スコア 0.847 のしきい値構成が見つかりました (各評価 = 500 の決定)。次元ごとに 5 ポイントのグリッド検索では、スコア 0.831 の構成を見つけるために 625 の評価が必要でした。 GP-UCB の最適なしきい値は、財務リスク = 0.72、コンプライアンス リスク = 0.89、オペレーショナル リスク = 0.58、証拠の質 = 0.41 でした。特に、コンプライアンス リスクには他の要素よりもはるかに高いしきい値が必要であり、コンプライアンスが守られているというドメインの直観が裏付けられています。違反は業務の非効率性よりもコストがかかります。

11. 制限事項と拡張機能

11.1 制限事項

Bandit フレームワークには、企業のコンテキストにおいていくつかの制限があります。まず、独立性の仮定です。標準的な MAB はアームの報酬が独立していると仮定していますが、企業の戦略は相互作用することがよくあります (たとえば、ある製品カテゴリの価格変更は、隣接するカテゴリの需要に影響します)。組み合わせバンディットはこれに部分的に対処しますが、計算コストが高くなります。第 2 に、定常性の仮定です。非定常性を緩和したにもかかわらず、環境の急速な変化により、アルゴリズムが適応する前に重大な後悔が生じる可能性があります。第三に、報酬の定義の問題です。企業の「報酬」は多くの場合、スカラーに圧縮する必要がある多次元の構成要素であり、圧縮関数自体がどの戦略が最適に見えるかに影響します。

11.2 拡張機能

エンタープライズ バンディットの研究には、いくつかの拡張が自然な方向性となります。 カスケード バンディット は、各ステージがバンディットの問題であり、報酬がカスケード全体に依存する複数ステージの意思決定用です。アプリケーション: 各ステップの構成がアームとなる複数ステップの承認ワークフロー。 Sleeping Bandits アームの利用可能性が時間の経過とともに変化する設定用。用途: ベンダーにキャパシティの制約があり、定期的に利用できない場合のベンダーの選択。 盗賊と決闘 絶対的な報酬ではなく、相対的なフィードバックのみが利用可能な設定 (優先度 A > B)。用途: 絶対的な品質スコアが信頼できない場合、人間の専門家による評価による戦略の比較。 マルチテナント MARIA OS デプロイメント向けのフェデレーション バンディット。各テナントがバンディット インスタンスを実行し、生データを共有せずにクロステナント学習のメリットを享受したいと考えています。フェデレーテッドトンプソン サンプリングは、個々の観測値ではなく十分な統計 (事後パラメータ) を共有することでこれを可能にします。

12. 結論

Multi-Armed Bandits はエージェント企業アーキテクチャの探索層を形成し、企業のあらゆる意思決定領域に浸透する探索と活用のトレードオフに関する原則に基づいた数学的フレームワークを提供します。ベータ-ベルヌーイ事前分布を使用したトンプソン サンプリングは、ベータ分布からのサンプリングという計算の簡素化により、バイナリ結果 (承認率、コンバージョン率、コンプライアンス合格率) の漸近的に最適な探索を実現します。 UCB アルゴリズムは、企業のガバナンス チームが検査および検証できる証明可能な信頼限界を備えた決定論的で監査可能な探索戦略を提供します。コンテキストバンディットは、フレームワークをパーソナライズされた意思決定に拡張し、どの戦略がどのコンテキストに最適であるかを学習します。ベイジアン最適化は、サンプル効率を高めて連続戦略空間を処理するため、費用のかかる企業実験に実用的になります。

MARIA OS との統合により、これらのアルゴリズムは数学的な好奇心から運用インフラストラクチャに変換されます。座標をスコープとした実験により、組織の境界を確実に尊重して探索を行うことができます。ゲートで管理されるアームの承認により、テストされていない戦略が本番環境に入るのを防ぎます。証拠とシステムの統合により、探索行動の完全な監査証跡が提供されます。安全上の制約により、壊滅的な探査結果が防止されます。

実験結果は、このフレームワークの実用的な価値を検証しています。イプシロン貪欲ベースラインと比較して 73% の後悔の削減は、学習中に失われる収益が少ないことを意味し、14 日間の収束はより迅速な戦略の最適化を意味し、8.7% の価格引き上げは、理論上の利点が測定可能なビジネス成果につながることを示しています。エージェント企業が自律的な意思決定の数を拡大するにつれて、探索レイヤーは組織の学習が数学的に最適であることを保証し、A/B テスト設計者のその場限りの直感に任せることはありません。

将来の作業では、盗賊が高レベルの戦略を選択し、RL が各戦略内の実行を最適化する階層アーキテクチャを通じて、探索レイヤーを制御レイヤー (レイヤー 4、アクター-クリティカル RL) と統合する予定です。この 2 つのレベルの最適化 (何を行うかについてはバンディット、それをどのように行うかについては RL) は、人間の組織における戦略的意思決定と運用上の意思決定の区別を反映しています。