ゲート付き自律運用のためのActor-Critic強化学習: 責任制約下のPPO最適化

1. はじめに: 制御層の問題

エンタープライズ AI システムは根本的な緊張に直面しています。自動化にはスピードと一貫性が求められる一方、ガバナンスには慎重さと説明責任が求められます。ルールベースのシステムは、すべての決定境界をハードコーディングすることでこの緊張を解決しますが、新しい状況に適応することはできません。制約のない強化学習は、経験から最適なポリシーを学習することで問題を解決しますが、学習された行動がガバナンスの要件を遵守していることを保証することはできません。エージェント型企業アーキテクチャの制御層には中間パス、つまり複雑な逐次意思決定を処理するのに十分強力でありながら、すべてのステップで責任の境界を尊重するのに十分な制約がある強化学習が必要です。

具体的な課題は、中リスクのタスクの自動化です。低リスクのタスク (ステータス更新の送信、レポートのフォーマット、会議のスケジュール設定) は、決定論的なルールを使用して完全に自動化できます。高リスクのタスク (大規模な金融取引の承認、生産システムの変更、雇用の決定) には、人間による強制的な承認が必要です。しかし、広大な中間領域、つまり 5 万ドル未満の調達決定、顧客エスカレーション ルーティング、在庫の再調整、ステージング環境へのコードのデプロイメントは、企業の運用量の 60 ～ 75% を占めています。これらのタスクは人間による完全なレビューには多すぎるため、盲目的な自動化にはあまりにも重要すぎます。

アクター批判的強化学習、特に近接ポリシー最適化 (PPO) は、この中間点のアルゴリズム基盤を提供します。アクター ネットワークは、状態をアクションの分布にマッピングする確率的ポリシーを学習します。批評家ネットワークは、将来の期待される報酬を推定する価値関数を学習します。これらを組み合わせることで、分散を削減したポリシー勾配の最適化が可能になります。しかし、標準的な PPO では、動的な行動スペースの制約、複数の利害関係者の報酬構造、または人間参加型の環境ダイナミクスに対応することはできません。

このペーパーでは、PPO をゲート型自律性設定に拡張します。ゲート制約付き MDP を形式化し、修正されたポリシー勾配定理を導出し、PPO クリッピング下での安定性保証を証明し、MARIA OS エンタープライズ展開におけるフレームワークを実証します。

1.1 なぜエンタープライズコントロールにアクター兼批評家が選ばれるのか

代替の RL アプローチよりもアクタークリティカル手法を選択するかどうかは、3 つの企業要件によって決まります。まず、継続的なアクション スペース: 企業の意思決定には、連続的なパラメーター (予算割り当て、優先順位スコア、リソース量) が含まれることが多く、離散化が必要な Q 学習などの値ベースの手法ではうまく処理できません。アクタークリティカルなメソッドは、パラメーター化されたポリシー ネットワークを通じて継続的なアクションを自然に処理します。 2 つ目は、サンプルの効率: エンタープライズ環境のシミュレーションには費用がかかり、リセットは不可能です。一度行われた調達の決定は、トレーニング目的で取り消すことはできません。アクター クリティカル手法、特に PPO は、重要度サンプリングを通じて軌跡を再利用することにより、純粋なポリシー勾配手法よりも高いサンプル効率を実現します。 3 番目に、安定性: エンタープライズ ポリシーの更新は保守的である必要があります。 AI エージェントの運用方法の突然の変化組織全体に連鎖する可能性がある顧客のエスカレーションに対処します。 PPO のクリップされた目標は、更新間のポリシー変更を制限するための正式なメカニズムを提供します。

1.2 紙の構成

セクション 2 では、ゲート制約付き MDP を形式化します。セクション 3 では、ゲート型自律性のためのアクター - クリティカル アーキテクチャを開発します。セクション 4 では、ゲート制約のあるポリシーの勾配定理を導き出します。セクション 5 では、ガバナンス信頼領域での PPO の適応について説明します。セクション 6 では、マルチステークホルダーの報酬形成について紹介します。セクション 7 では、人間参加者の承認を環境のダイナミクスとしてモデル化します。セクション 8 では、制約エンフォーサとしてのゲート エンジンについて説明します。セクション 9 では MARIA OS の統合について説明します。セクション 10 では実験による検証を提供します。セクション 11 では収束特性について説明します。セクション 12 は終了です。

2. ゲート制約のあるマルコフ決定プロセス

標準的な強化学習は、タプル (S、A、T、R、ガンマ) で定義されたマルコフ決定プロセスで動作します。ここで、S は状態空間、A はアクション空間、T: S x A x S -> [0,1] は遷移関数、R: S x A -> R は報酬関数、(0,1) のガンマは割引係数です。標準的な定式化では、アクション空間 A は固定されており、すべてのアクションがすべての状態で利用可能です。この前提は、利用可能なアクションがエージェントの承認レベル、タスクのリスク分類、および責任ゲートの現在の状態に依存する管理されたエンタープライズ環境とは基本的に互換性がありません。

2.1 正式な定義

ゲート制約付き MDP (GC-MDP) をタプル (S、A、G、T、R、ガンマ、C) として定義します。追加要素は次のとおりです。 - G = {g_1, g_2, ..., g_K} は責任ゲートの有限セットです - C: S x G -> 2^A は、各ステート ゲート ペアを許容されるアクションのサブセットにマップする制約関数です。 状態 s における有効なアクション空間は、すべてのゲート制約の交差部分です。 $$ A_{\text{eff}}(s) = \bigcap_{k=1}^{K} C(s, g_k) $$ この交差により、アクションがすべてのアクティブなゲートを同時に通過する場合にのみ許容されることが保証されます。アクションを排除するには、単一のゲート拒否権で十分です。

制約関数 C は、企業ガバナンスに現れる 3 種類の制約をエンコードします。 |制約タイプ |形式的な表現 |エンタープライズ例 | |---|---|---| | ハード除外 | C(s, g_k) = A \ {a_blocked} | 10 万ドルを超える金融取引は自動承認から除外 | | 条件付き包含 | C(s, g_k) = {a : phi_k(s, a) >= tau_k} |証拠の品質がしきい値を超えた場合にのみ許可されるアクション | | レート制限 | C(s, g_k) = {a : count(a, H_t) < n_max} |調達に関して 1 時間あたり最大 5 件の自動承認 | ここで、phi_k はゲート固有のスコアリング関数、tau_k はゲートしきい値、H_t は時間 t までのアクション履歴、n_max はレート制限です。

2.2 エンタープライズ環境の状態表現

GC-MDP の状態は、タスク レベルの情報だけでなく、ガバナンス コンテキストもエンコードする必要があります。状態を複合ベクトルとして定義します。 $$ s_t = [s_t^{\text{タスク}}、s_t^{\text{信頼}}、s_t^{\text{ゲート}}、s_t^{\text{履歴}}] $$ ここで、 s_t^task にはタスク固有の機能 (調達額、ベンダー リスク スコア、緊急度レベルなど) が含まれ、 s_t^trust はすべてのゲート次元にわたるエージェントの現在の信頼ベクトル、 s_t^gate はゲートのアクティブ化状態のバイナリ ベクトル、 s_t^history は関連するアクション履歴を要約します。 MARIA OS では、トラスト ベクトルはゲート エンジンによって維持され、アクションのたびに結果のフィードバックに基づいて更新されます。

2.3 ゲート相互作用による遷移ダイナミクス

GC-MDP の遷移関数には、ゲートの決定が遷移に影響を与えるという重要な特性があります。エージェントがゲートの承認を必要とするアクションを要求すると、環境は中間待機状態 s_wait に移行し、結果はゲート (おそらく人間) の決定に依存します。これを次のようにモデル化します。 $$ T(s' | s, a) = \begin{cases} T_{\text{direct}}(s' | s, a) & \text{if } a \in A_{\text{auto}}(s) \\ \sum_{d \in \{\text{承認, 拒否}\}} P(d | s, a) \cdot T_{\text{gated}}(s' | s, a, d) & \text{if } a \in A_{\text{gated}}(s) \end{cases} $$ ここで、A_auto(s) は自動実行可能なアクションのセットであり、A_gated(s) は承認が必要なセットです。確率 P(d | s, a) は、エージェントが予測するために学習する必要がある、ゲート (または人間のレビュー担当者) の決定分布を捕捉します。

3. ゲート型自律性のためのアクタークリティカルアーキテクチャ

アクター - クリティカル フレームワークは、学習問題を 2 つの協調ネットワーク、つまりアクションを選択するアクター (ポリシー ネットワーク) と状態を評価するクリティカル (価値ネットワーク) に分解します。ゲート自律設定では、両方のネットワークがゲート制約を認識する必要があります。

3.1 アクター ネットワーク: ゲート認識ポリシー

アクター ネットワーク pi_theta は、完全なアクション空間 A にわたる確率的ポリシーをパラメーター化しますが、その出力はアクションの選択前にゲート制約関数によってマスクされます。離散アクション空間の場合、マスクされたソフトマックスを使用します。 $$ \pi_\theta(a | s) = \frac{\exp(f_\theta(s, a)) \cdot \mathbb{1}[a \in A_{\text{eff}}(s)]}{\sum_{a' \in A} \exp(f_\theta(s, a')) \cdot \mathbb{1}[a' \in A_{\text{eff}}(s)]} $$ ここで、 f_theta(s, a) は状態 s のアクション a に対するアクター ネットワークの生のロジットであり、インジケーター関数は許容できないアクションをゼロにします。連続アクション空間の場合、アクターはサポートが A_eff(s) に制限されている切り捨てられたガウス分布のパラメーターを出力します。

重要なアーキテクチャ上の洞察は、アクターはアクション空間全体にわたって学習しますが、推論時には制約されるということです。これは、ネットワークが完全なアクション空間にわたる表現を学習できること、つまり特定のアクションがブロックされる理由と、許容されるサブセット内で最適に選択する方法を理解できることを意味します。制約された空間のみでトレーニングした場合、アクターは、ゲート制約が変化したときに (エージェントの信頼レベルが進化したときと同様に) 適応するための表現能力を欠くことになります。

3.2 批評家ネットワーク: ガバナンスを意識した価値の見積もり

批評家ネットワーク V_phi(s) は、現在の政策の下で状態 s からの期待収益を推定します。 GC-MDP では、批評家は値がゲート制約に依存するという事実を考慮する必要があります。 $$ V^\pi(s) = \mathbb{E}_{\pi} \left[ \sum_{t=0}^{\infty} \gamma^t r_{t+1} \mid s_0 = s, \forall t: a_t \in A_{\text{eff}}(s_t) \right] $$ ゲート制約は 2 つのチャネルを通じて価値に影響します。1 つはエージェントが実行できるアクションを制限する (高報酬のアクションがブロックされると価値が減少する) こと、もう 1 つは承認の遅延を導入する (待機時間による将来の報酬の割引) です。修正された時間差ターゲットを使用して批評家を訓練します。 $$ y_t = r_t + \gamma \cdot (1 - d_t) \cdot V_\phi(s_{t+1}) + \gamma \cdot d_t \cdot \delta_{\text{wait}} \cdot V_\phi(s_{t+1}) $$ ここで、d_t はアクションにゲート承認が必要かどうかを示す指標であり、(0,1) の delta_wait は承認の割引係数です。遅れ。

3.3 ゲート補正による利点の推定

利点関数 A^pi(s, a) = Q^pi(s, a) - V^pi(s) は、ポリシー pi に基づく平均アクションと比較して、アクション a がどの程度優れているかを測定します。ゲート自律性では、ゲート補正項を備えた一般化利点推定 (GAE) を使用します。 $$ \hat{A}_t^{\text{GAE}(\gamma, \lambda)} = \sum_{l=0}^{\infty} (\gamma \lambda)^l \delta_{t+l} + \alpha_g \cdot \text{GateBonus}(s_t, a_t) $$ ここで、delta_t = r_t + gamma V_phi(s_{t+1}) - V_phi(s_t) は TD 残差、lambda は GAE パラメーター、GateBonus(s_t, a_t) は、強制を必要とせずにゲート境界を積極的に尊重するアクションに対して小さなプラスの報酬を提供します。係数 alpha_g は、ゲート コンプライアンスのインセンティブの強さを制御します。

4. ゲート制約ポリシーの勾配定理

標準的な政策勾配定理では、政策パラメータ theta に対する期待収益 J(theta) の勾配は次のようになります。 $$ \nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \nabla_\theta \log \pi_\theta(a|s) \cdot A^{\pi_\theta}(s, a) \right] $$ この結果は、固定されたアクション スペースを前提としています。ゲート制約によってアクション スペースが動的に制限される場合、勾配を変更する必要があります。

4.1 定理の記述

定理 1 (ゲート制約ポリシーの勾配)。 (S、A、G、T、R、ガンマ、C) を GC-MDP とし、pi_theta をゲート マスクされたポリシーとします。期待収益の勾配は次のように分解されます。 $$ \nabla_\theta J(\theta) = \underbrace{\mathbb{E}_{s \sim d^\pi, a \sim \pi_\theta(\cdot|s)} \left[ \nabla_\theta \log \pi_\theta(a|s) \cdot A^{\pi}(s,a) \right]}_{\text{内部勾配}} + \underbrace{\mathbb{E}_{s \sim d^\pi} \left[ \sum_{a \in \partial A_{\text{eff}}(s)} \nabla_\theta \pi_\theta(a|s) \cdot \Delta Q(s, a) \right]}_{\text{境界補正}} $$ ここで、 d^pi は割引された状態訪問分布、部分記号は有効アクション空間 (ぎりぎり許容されるアクション) の境界を示し、デルタ Q(s, a) は実行アクション a とその最も近い許容可能な代替手段との間の値の差です。

4.2 校正スケッチ

証明は、アクション空間を内部アクション (厳密に A_eff 内)、境界アクション (許容範囲の端にある)、および外部アクション (ゲートによってブロックされている) に分割することによって進められます。内部アクションの場合、ゲート マスキング関数が局所的に一定であるため、標準ポリシーの勾配が直接適用されます。境界アクションの場合、ゲート制約によりポリシーに不連続性が生じます。シータの小さな変化によってアクションが許容しきい値を超え、マスクされたポリシーの確率に離散的なジャンプが生じる可能性があります。境界補正項は、これらのしきい値交差からの勾配の寄与を捕捉します。 形式的には、M(s, a) = 1[a in A_eff(s)] をゲート マスクとします。マスクされたポリシーは pi_theta^M(a|s) = pi_theta(a|s) M(s,a) / Z(s) で、Z(s) = sum_{a'} pi_theta(a'|s) M(s,a') は正規化定数です。 J(θ) = E_s[sum_a の勾配を取るpi_theta^M(a|s) Q^pi(s,a)] を計算し、積ルールをマスクされたポリシーに適用すると、2 項分解が得られます。境界補正は、ゲート制約が非常に緩い (A_eff = A、制約なし) か非常に厳しい (A_eff がシングルトン、選択なし) 場合に消滅し、ゲート境界がポリシー確率の高い領域を通過するときに最大の意味を持ちます。

4.3 実用的な意味

境界補正項には、重要な実際的な意味があります。つまり、ポリシーがゲート境界を学習することを促進します。行為者が許容閾値に近いアクションに高い確率を割り当てると、境界補正により、そのアクションの実行とその制約された代替の実行との間の値の差に比例する勾配信号が提供されます。これにより、トレーニングを通じて、そのアクションを強く優先するか (ゲートの承認リクエストを正当化するのに十分な価値がある場合)、確率質量を境界から遠ざけるか (制約された代替案がほぼ同等の場合)、ポリシーが駆動されます。企業の観点から言えば、エージェントは、人間の承認を要求する価値がある場合と、最適ではないが自動実行可能なアクションを受け入れる価値がある場合を学習します。

5. ガバナンス信頼リージョンによる PPO

近接ポリシーの最適化は、破壊的な大規模なステップを防ぐためにポリシーの更新を制限します。標準的な PPO クリップ目標は次のとおりです。 $$ L^{\text{CLIP}}(\theta) = \mathbb{E}_t \left[ \min\left( r_t(\theta) \hat{A}_t, \; \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t \right) \right] $$ ここで、 r_t(theta) = pi_theta(a_t | s_t) / pi_{theta_old}(a_t | s_t) は確率比、epsilon はクリッピング パラメーターです。ガバナンスに制限された設定では、より厳密な制御が必要です。

5.1 リスク階層化アクションの適応クリッピング

すべてのアクションが同じガバナンス リスクを伴うわけではありません。 500 ドルの調達承認には、45,000 ドルの調達承認とは異なるリスク特性があります。クリッピング パラメーターがアクションのリスク層に依存するリスク適応クリッピングを導入します。 $$ \epsilon(a_t) = \epsilon_{\text{base}} \cdot \exp(-\beta \cdot \text{risk}(s_t, a_t)) $$ ここで、[0, 1] のrisk(s_t, a_t) はゲート エンジンのリスク評価であり、ベータ > 0 が感度を制御します。高リスクのアクションにはより厳密なクリッピング (より小さなイプシロン) が適用され、ポリシーが結果的な決定に関して確率を大幅に変更するのを防ぎます。低リスクのアクションには標準のクリッピングが適用され、より迅速な適応が可能になります。

5.2 信頼領域の解釈

クリップされた目的は、ポリシー空間内の信頼領域を暗黙的に定義します。ゲート適応クリッピングの下で​​有効な信頼領域半径を導出することで、これを明示します。 命題 1. パラメーター epsilon(a) を使用したリスク適応クリッピングの下では、連続するポリシー間の有効 KL 発散限界は次の条件を満たします。 $$ D_{\text{KL}}(\pi_{\theta_{\text{old}}} \| \pi_\theta) \leq \frac{\epsilon_{\text{base}}^2}{2} \cdot \mathbb{E}_{a \sim \pi_{\theta_{\text{old}}}} \left[ \exp(-2\beta \cdot \text{risk}(s, a)) \右] $$ この限界は、平均アクション リスクが増加するにつれて信頼領域が縮小することを示しています。ガバナンスの観点から見ると、これは、エージェントがよりリスクの高い領域で動作している場合にこそ、ポリシーの更新がより保守的になることを意味します。これは、リスク適応クリッピング設計から自然に現れる望ましい特性です。

5.3 ゲート整合性チェックを使用したマルチエポック トレーニング

標準 PPO は、同じバッチの軌道上で複数のエポックの勾配更新を実行し、サンプル効率を向上させます。ゲート自律設定では、ゲート制約は収集とトレーニングの間で変更される可能性があります (たとえば、エージェントの信頼レベルは最新のバッチ結果に基づいて更新されます)。ゲートの整合性チェックを追加します。各トレーニング エポックの前に、リプレイ バッファー内のアクションが現在のゲート制約の下でまだ許容されることを確認します。許容できなくなったアクションはバッチから削除されるか、ポリシーを排除するためにペナルティ報酬が割り当てられます。 $$ r_t^{\text{修正}} = \begin{cases} r_t & \text{if } a_t \in A_{\text{eff}}^{\text{current}}(s_t) \\ r_t - \lambda_{\text{ペナルティ}} & \text{if } a_t \notin A_{\text{eff}}^{\text{current}}(s_t) \end{cases} $$ これにより、トレーニング中の場合でも、ポリシーが最新のゲート設定から学習することが保証されます。歴史の軌跡。

6. マルチステークホルダーによる報酬の形成

エンタープライズ強化学習は、潜在的に矛盾する目標を持つ複数の関係者に役立ちます。運用チームは最大のタスク完了率を求めています。コンプライアンス チームはガバナンス違反をゼロにしたいと考えています。人間の監視チームは、不必要なエスカレーションを最小限に抑えたいと考えています。これを多目的報酬関数として形式化します。

6.1 複合報酬関数

各タイムステップの報酬は、利害関係者固有のコンポーネントの重み付けされた組み合わせです。 $$ r_t = w_{\text{タスク}} \cdot r_t^{\text{タスク}} + w_{\text{準拠}} \cdot r_t^{\text{準拠}} + w_{\text{監視}} \cdot r_t^{\text{監視}} + w_{\text{証拠}} \cdot r_t^{\text{証拠}} $$ ここで: - r_t^task はタスクの完了報酬です (結果が成功した場合は正、失敗した場合は負) - r_t^comply はコンプライアンス報酬です (ゲートに準拠したアクションの場合はプラス、違反の場合は非常にマイナス) - r_t^oversight は、監督効率の報酬です (不必要な人間によるエスカレーションにはマイナス、正しい自己処理にはプラス) - r_t^evidence は証拠の質に対する報酬です (十分に文書化された決定についてはプラス、文書化されていないアクションについてはマイナス) 重み w_* は組織のポリシーによって設定され、部門、リスク層、運用状況によって異なる場合があります。

6.2 潜在的な報酬の形成

最適なポリシーを変更せずに学習を加速するために、Ng らの手法に従って潜在的な報酬形成を適用します。 （1999年）。状態の望ましさに関するドメイン知識をエンコードするポテンシャル関数 Phi(s) を定義します。 $$ \Phi(s) = \alpha_1 \cdot \text{TrustLevel}(s) + \alpha_2 \cdot \text{EvidenceCompleteness}(s) + \alpha_3 \cdot \text{QueueHealth}(s) $$ 整形された報酬は F(s, s') = ガンマ * Phi(s') - Phi(s) です。これにより、元の報酬 (ポテンシャルベースの整形定理によって保証される特性) に基づく最適なポリシーを変更することなく、エージェントのガバナンス状態 (信頼の構築、証拠の収集、キューのバックログの削減) を改善するアクションに対する即時フィードバックが提供されます。

6.3 ラグランジュ緩和による制約満足

ハードガバナンス制約 (例: 「10 万ドルを超える取引は決して自動承認しない」) は、ゲート制約機能によって強制されます。ソフトな制約 (例: 「人間によるエスカレーション率を 15% 未満に保つ」) は、制約付きの最適化を通じてより適切に処理されます。制約付き RL 問題を定式化します。 $$ \max_\theta J(\theta) \quad \text{対象} \quad \mathbb{E}_{\pi_\theta}[c_i(s, a)] \leq d_i \quad \forall i \in \{1, ..., m\} $$ ここで、c_i は制約コスト関数、d_i は制約しきい値です。これをラグランジュ緩和によって解決し、二重変数 mu_i >= 0 を導入します。 $$ L(\theta, \mu) = J(\theta) - \sum_{i=1}^{m} \mu_i \left( \mathbb{E}_{\pi_\theta}[c_i(s, a)] - d_i \right) $$ 主変数 theta はラグランジュ目標の PPO を介して更新され、双対変数 mu は勾配上昇を介して更新されます。これにより、満足しながらタスクのパフォーマンスを最大化するポリシーが生成されます。期待されるガバナンスの制約。

7. 人間参加型 RL: 環境ダイナミクスとしての承認

ゲート自律性の特徴は、人間の承認決定が外部からの介入ではなく環境の一部であることです。エージェントがゲート承認のアクションを送信するとき、人間のレビュー担当者の決定 (承認、拒否、変更) は確率的な環境応答であり、エージェントはこれを予測して最適化するために学習する必要があります。

7.1 承認 MDP の拡張

GC-MDP に承認状態を追加します。エージェントが A_gated(s) でアクション a を選択すると、環境は中間状態 s_pending に移行し、そこでエージェントは人間の決定を待ちます。人間の決定 d は分布 P_H(d | s, a, h) から引き出されます。ここで h はレビュー担当者の観察可能な特性 (作業負荷、専門知識、過去の承認パターン) を表します。その後、d に基づいて遷移が進行します。 $$ s_{t+1} = \begin{cases} T_{\text{approve}}(s_t, a_t) & \text{if } d = \text{approve} \\ T_{\text{reject}}(s_t, a_t) & \text{if } d = \text{reject} \\ T_{\text{modify}}(s_t, a_t, a_t') & \text{if } d = \text{modify with } a_t' \end{cases} $$

7.2 人間の承認モデルの学習

エージェントは人間の承認分布の内部モデル P_hat_H(d | s, a) を維持します。このモデルは、過去の承認データに基づいてトレーニングされ、新しい決定が観察されるとオンラインで更新されます。このモデルにより、エージェントはゲートされたアクションの期待値を計算できます。 $$ Q^\pi(s, a_{\text{gated}}) = P_{\hat{H}}(\text{承認} | s, a) \cdot Q^\pi_{\text{承認}}(s, a) + P_{\hat{H}}(\text{拒否} | s, a) \cdot Q^\pi_{\text{拒否}}(s, a) - c_{\text{待機}} $$ ここで、c_wait は承認を待つ機会費用です。したがって、エージェントは、ゲートされたアクションの潜在的な報酬と、拒否の確率および待機コストのバランスを取る方法を学習します。これにより、当然のことながら、ゲート アクションの期待値が最適な自動実行可能な代替値を大幅に超えた場合にのみ、エージェントが承認を要求する動作が発生します。

7.3 レビュー担当者のワークロードを考慮したスケジューリング

エージェントは、レビュー担当者の現在のワークロードを観察 (または推定) し、それに応じてゲート要求の動作を調整できます。レビュー担当者の応答時間をワークロードの関数としてモデル化します。 $$ \tau_{\text{response}}(w) = \tau_0 \cdot (1 + \kappa \cdot w^2) $$ ここで、w はレビューアの現在のキューの深さ、tau_0 は基本応答時間、kappa は負荷時の応答時間の非線形低下を捉えます。エージェントは、ゲートされたアクションの割引を調整することで、これをアクション価値の計算に組み込みます。 $$ Q^\pi_{\text{gated}}(s, a) = \gamma^{\tau_{\text{response}}(w)} \cdot \mathbb{E}_d[Q^\pi(s', a)] $$ これにより、自然な負荷分散効果が生まれます。レビュー担当者が過負荷になると、ゲートされたアクションがより大幅に割引され、エージェントは自動実行可能な代替手段を優先します。レビュー担当者がアイドル状態の場合、割引は最小限であり、エージェントはより積極的に承認を要求します。潜在的により高い報酬が得られるアクション。

8. 制約エンフォーサとしてのゲート エンジン

MARIA OS では、ゲート エンジンは制約関数 C(s, g_k) を実装するインフラストラクチャ コンポーネントです。アクターが提案したアクションと環境の間に位置し、リアルタイムでガバナンスの制約を強制します。

8.1 ゲートエンジンのアーキテクチャ

ゲート エンジンは、次のパイプラインを備えたミドルウェア層として動作します。 1. リスク評価: 多次元リスク スコアリング モデルを使用してリスクを計算します。 2. ゲート選択: 現在の状態とアクションのペアに対してどのゲート g_k がアクティブであるかを決定します。 3. 制約の評価: アクティブなゲートごとに C(s, g_k) を評価して、アクションが許容されるかどうかを判断します。 4. アクション ルーティング: ゲート評価に基づいてアクションを自動実行、エージェントによるレビュー、または人間による承認にルーティングします。 5. 証拠の収集: 監査とトレーニングの目的で、ゲートの評価、アクション、結果を記録します。 ゲート エンジンは、各ゲートの構成、しきい値、および最近の評価履歴を追跡するゲート状態ベクトルを維持します。この状態は RL エージェントの観察に含まれており、ポリシーがゲートを認識する動作を学習できるようになります。

8.2 動的ゲートしきい値適応

ゲートしきい値は静的ではありません。これらは、結果の品質の指数移動平均を使用した組織のパフォーマンス指標に基づいて適応します。 $$ \tau_k^{(t+1)} = (1 - \eta) \cdot \tau_k^{(t)} + \eta \cdot \bar{q}_k^{(t)} $$ ここで、tau_k^(t) は時間 t におけるゲート k の閾値、eta は適応率、q_bar_k^(t) は最近のウィンドウでゲート k を通過した決定の平均品質スコアです。品質が低下すると（自動承認の決定でエラーが増加すると）、しきい値が厳しくなり、より多くのアクションに対して人間の承認が必要になります。品質が一貫して高い場合は、しきい値が緩和され、エージェントの自主性が高まります。これにより、RL エージェントの能力とその操作上の自由の間にフィードバック ループが作成されます。これは、「段階的自律性」原則の正式なインスタンス化です。

8.3 ゲート相互作用の効果

複数のゲートが同時にアクティブになると、それらの制約が相互作用します。有効なアクション スペースは、すべてのゲート制約の交差部分であり、個々のゲートの制約セットよりも大幅に小さくなる可能性があります。ゲート相互作用係数を次のように定義します。 $$ \iota_G(s) = 1 - \frac{|A_{\text{eff}}(s)|}{|A|} = 1 - \frac{|\bigcap_k C(s, g_k)|}{|A|} $$ iota_G(s) が 1 に近い場合、ゲートは非常に制限的になります (エージェントに許容されるアクションはほとんどありません)。 0 に近い場合、ゲートは許容されます。この係数を状態全体で監視して、ゲートの相互作用によってエージェントのアクション スペースが操作麻痺の点まで減少する過剰な制約構成を検出します。

9. MARIA OS統合アーキテクチャ

ゲート オートノミー RL フレームワークは、エージェント アドレス指定のための座標システム、状態管理のための意思決定パイプライン、監査証跡のための証拠システムという 3 つのインターフェイス層を通じて MARIA OS と統合されます。

9.1 MARIA 座標マッピング

システム内の各 RL エージェントには、そのガバナンス コンテキストを決定する MARIA 座標 (G.U.P.Z.A) が割り当てられます。座標は特定のゲート構成にマップされます。 $$ \text{GateConfig}(G_i.U_j.P_k.Z_l.A_m) = \bigcup_{\text{レベル} \in \{G, U, P, Z\}} \text{ゲート}(\text{レベル}) $$ Galaxy レベルのゲートは、テナント全体のポリシー (データ常駐、コンプライアンス フレームワーク) を強制します。ユニバース レベルのゲートは、ビジネス ユニットのポリシー (予算権限、承認チェーン) を強制します。惑星レベルのゲートはドメイン ポリシー (リスクしきい値、証拠要件) を強制します。ゾーンレベルのゲートは、運用ポリシー (レート制限、ワークロードの上限) を強制します。エージェントはすべての祖先レベルから制約を継承し、RL ポリシーがナビゲートする必要がある階層型制約構造を作成します。

9.2 意思決定パイプラインの統合

RL エージェントのアクションは、MARIA OS 決定パイプラインの状態にマップされます。アクターがアクションを選択すると、それは決定提案に変換され、「提案済み」状態でパイプラインに入ります。ゲート評価はパイプライン遷移に対応します。 | RL アクション タイプ |パイプラインの移行 |ゲート要件 | |---|---|---| |自動実行 |提案 -> 検証 -> 承認 -> 実行 |なし (信頼境界内) | |エージェントレビュー |提案済み -> 検証済み -> 承認必須 -> 承認済み |ピアエージェントのレビュー | |人間の承認 |提案済み -> 検証済み -> 承認が必要 -> [人間の判断] |人間の審査員による承認 | すべての遷移により、decion_transitions テーブルに不変の監査レコードが作成され、RL エージェントの意思決定プロセスの完全な追跡可能性が保証されます。

9.3 証拠バンドルの生成

ゲート アクションごとに、RL エージェントはレビュー担当者に対してアクションを正当化する証拠バンドルを生成します。バンドルには、状態表現、ポリシーのアクション確率、批評家の価値推定、有利スコア、および認知層のトランスフォーマーによって生成された自然言語説明が含まれます。この証拠バンドルは証拠システムに保存され、決定記録にリンクされます。 $$ E(s, a) = \{s_{\text{features}}, \pi_\theta(\cdot|s), V_\phi(s), \hat{A}(s,a), \text{NL}_{\text{explain}}(s, a)\} $$ 報酬関数の証拠完全性スコア r_t^evidence は、エージェントに高品質の証拠バンドルを生成するよう促し、より良い証拠がより高い承認率につながり、それがより高い報酬につながり、さらにより良い証拠につながるという自己強化ループを作成します。

10. 実験的検証

MARIA OS 内の 4 つのエンタープライズ展開シナリオにわたってゲート自律 PPO フレームワークを評価し、制約のない PPO、ルールベースの自動化、ゲート制約のあるランダム ポリシーの 3 つのベースラインと比較します。

10.1 実験のセットアップ

4 つの導入シナリオは次のとおりです。 1. 調達自動化 (Sales Universe G1.U1): 12 人のエージェントが 100 ドルから 100,000 ドルまでの発注書を処理し、3 層ゲート構造 (自動 < 5,000 ドル、エージェントによるレビュー 5,000 ドル～2 万 5,000 ドル、人間による承認 > 25,000 ドル) を備えています。 2. 顧客エスカレーション ルーティング (FAQ Universe G1.U3): 8 人のエージェントが、顧客の生涯価値に基づいたリスクベースのゲートを使用して、重大度レベル全体で顧客の苦情をルーティングします。 3. コード デプロイメント パイプライン (Auto-Dev Universe G1.U4): テスト カバレッジ、変更の規模、および爆発範囲に基づくゲートを備えた 6 つのエージェントがステージングおよび運用環境のデプロイメントを管理します。 4. 監査証拠収集 (監査ユニバース G1.U2): 証拠の完全性と重要性のしきい値に基づいたゲートで、監査証拠を収集および検証する 10 人のエージェント 各シナリオは、PPO ハイパーパラメーター: 学習率 3e-4、gamma = 0.99、lambda = 0.95、epsilon_base = 0.2、beta = 2.0、バッチ サイズ 2048、更新ごとに 10 エポック。

10.2 結果の概要

10.3 収束解析

トレーニング カーブは 3 つの異なる段階を示しています。探索フェーズ (エピソード 0 ～ 8,000) では、エージェントはアクション スペースを探索するときにゲート拒否を頻繁にトリガーするため、報酬が低くなり、エスカレーション レートが高くなります。境界学習フェーズ (エピソード 8,000 ～ 25,000) では、エージェントがゲート境界を学習し、アクションのルーティングを適切に開始し、不必要なエスカレーションが大幅に減少します。最適化フェーズ (エピソード 25,000 ～ 52,000) では、エージェントは学習したゲート構造内でポリシーを微調整し、コンプライアンスを維持しながらタスクの完了を徐々に改善します。ポリシーはエピソード 40,000 付近で安定し、アップデート間の KL 乖離が 0.008 を下回ります。

10.4 アブレーション研究

私たちは、次の 3 つの主要な要素についてアブレーション研究を実施します。 1. リスク適応クリッピング: リスク適応クリッピングを削除すると (すべてのアクションに固定イプシロン = 0.2 を使用)、高リスク アクションでポリシーの不安定性が 3.2 倍増加します。52,000 エピソードでゲート コンプライアンス違反が 4 件発生したのに対し、適応クリッピングでは 0 件になりました。 2. マルチステークホルダー報酬: タスクのみの報酬 (w_task = 1、その他すべて 0) を使用すると、エージェントはゲートを尊重するのではなく「ゲームする」ことを学習するため、96.1% の完了率を達成できますが、ゲート準拠率は 91.2% にとどまります。 3. 人間による承認モデル: 学習した承認モデルを削除すると、エージェントはレビュー担当者がどのアクションを承認するかを予測できず、保守的な過剰エスカレーションに頼るため、ゲート アクションの品質が 18% 低下します。

11. ゲート制約下での収束特性

当然の懸念は、ゲート制約が PPO の収束保証に影響を与えるかどうかです。ゲート設定の収束境界を確立することで、この問題に対処します。

11.1 収束定理

定理 2 (ゲート型 PPO 収束)。 pi_theta を、リスク適応クリッピングを備えた GC-MDP でトレーニングされたゲート マスクされた PPO ポリシーとする。標準的な仮定 (限界報酬、エルゴーディック MDP、リプシッツ連続ポリシー パラメーター化) の下では、ポリシーは次のレートで制約付き目的の局所最適値に収束します。 $$ J(\pi^_{\text{gated}}) - J(\pi_\theta^{(T)}) \leq \frac{C_1}{\sqrt{T}} + C_2 \cdot \iota_G^{\max} $$ ここで、T は更新数、C_1 は学習率スケジュールに依存し、C_2 iota_G^max はゲート制約による最適性ギャップです (iota_G^max は状態間の最大ゲート相互作用係数です)。 最初の項は標準 PPO 収束率です。 2 番目の項はガバナンスの代償、つまり制約付き最適値と制約なし最適値の間の縮小不可能なギャップです。ゲートが制約を課さない場合、このギャップはゼロであり、ゲートが制約を課すにつれて増加します。より制限的になります。

11.2 後悔の限界

ガバナンスの後悔を、制約された最適なポリシーと学習されたポリシーの間の累積的な差異として定義します。 $$ \text{後悔}(T) = \sum_{t=1}^{T} \left[ V^{\pi^_{\text{gated}}}(s_t) - V^{\pi_\theta^{(t)}}(s_t) \right] $$ 命題 2. リスク適応クリッピングを使用したゲート付き PPO では、ガバナンス リグレットは Regret(T) = O(sqrt(T |A| * log(|G|))) を満たします。ここで |G|アクティブなゲートの数です。 |G| への対数依存性ゲートを追加すると、後悔は線形ではなく対数的にのみ増加することがわかります。これは、多くの同時ガバナンス要件があるエンタープライズ環境にとって好ましい特性です。

12. 結論

この論文では、アクター-クリティック強化学習、特にゲート制約のあるポリシー勾配を使用した PPO を、エージェント企業の制御層の基礎アルゴリズムとして確立しました。ゲート制約付き MDP 形式主義は、管理された環境の本質的な構造、つまり、責任ゲート、マルチステークホルダーの報酬関数、および環境ダイナミクスとしての人間の承認によって決定される動的な行動空間を捉えています。ゲート制約ポリシーの勾配定理は、ガバナンス制約の下で最適なポリシーを学習するための数学的基礎を提供し、勾配を内項と境界項に分解して、エージェントがゲート境界を学習できるようにします。 PPO のクリッピング目標は、リスク適応クリッピングで拡張され、ポリシーの不安定性が組織に実際の影響を与える企業展開に適した形式的な安定性の保証を提供します。

実験結果は、ゲート自律型 PPO が、99.7% のゲート コンプライアンスを維持し、人間の監視負担を 61% 軽減しながら、ほぼ制約のないパフォーマンス (94.2% の相対タスク完了) を達成することを示しています。これらの結果は、ガバナンスとパフォーマンスは根本的に対立するものではないという核心理論を検証します。適切なアルゴリズム フレームワークを使用すると、ガバナンスが強化され、最適化の対象となる明確な境界がシステムに与えられるため、より効果的な自動化が可能になります。

フレームワークと MARIA OS の統合 (座標ベースのゲート構成、意思決定パイプライン状態マッピング、および証拠バンドルの生成を通じて) は、理論的な RL 構造が実稼働エンタープライズ システムで運用可能であることを示しています。アーキテクチャ上の重要な洞察は、責任ゲートはトレーニングされたポリシーにボルトで固定された外部制約ではなく、RL 環境の一部であるべきであるということです。エージェントが最初からゲートを使用して学習すると、事後的な制約適用よりも準拠性が高く、効率的なガバナンス ネイティブの動作が開発されます。

今後の研究では、複数のエージェントがゲート制約を共有し、ゲート要求の動作を調整する必要があるマルチエージェント ゲート型 PPO、エージェントが蓄積された能力に基づいてゲートしきい値の変更を提案する階層型ゲート学習、ゲー​​ト構造が共通のパターンを共有する MARIA OS ユニバース全体にわたる転移学習を検討します。