要旨
AI エージェントのガバナンス システムは、安定性、つまりリスクが時間の経過とともに際限なく増大することがないという特性を維持する必要があります。各決定によって未解決のリスクがわずかに増加し、リスク解決メカニズムがリスク導入率よりも遅いシステムでは、個々の決定の質に関係なく、最終的には壊滅的なリスクが蓄積されます。これはガバナンス力学の安定性の問題です。
この論文は、リアプノフの直接法をガバナンス力学に適用します。システム状態を x = [r, v]^T としてモデル化します。ここで、r は蓄積リスク、v は意思決定速度 (意思決定がパイプラインを通過する速度) です。状態は dr/dt = f(r, v, g, q) に従って発展します。ここで、g はゲート強度、q は証拠品質です。 Lyapunov 候補 V(r, v) = alpha r^2 + beta v^2 を構築し、dV/dt < 0 となるような g と q の条件を導出し、システムが平衡点 r = 0、v = v_target に収束することを保証します。 (g, q) 空間で得られる安定領域は、明示的な境界を持つ凸集合であり、建設的な設計仕様を提供します。この領域内で g と q を構成すると、安定性が保証されます。
1. 問題提起: 際限のないリスクの蓄積
ガバナンス パイプラインを通じて 1 日あたり 200 件の意思決定を処理するエンタープライズ AI システムを考えてみましょう。それぞれの決定には固有のリスク r_i があり、ゲートは人間によるレビューのためにそのリスクの一部 g を捕らえます。捕捉されなかった部分 (1 - g) r_i が残留リスクとして通過します。 N 回の決定にわたって累積された残留リスクは、R(N) = sum_{i=1}^{N} (1 - g) r_i となります。
決定ごとの平均リスクが r_bar > 0 で、ゲートが完全に効果的ではない (g < 1) 場合、R(N) は N に比例して増加します。10,000 回の決定の後、累積された残留リスクは 10,000 (1 - g) r_bar になります。この直線的な成長は、不完全なゲート制御の根本的な不安定性です。門がどんなに立派でも関係ありません。 g < 1 かつ r_bar > 0 の場合、長期的には蓄積リスクは無制限になります。
安定性には、リスク分散メカニズム、つまり時間の経過とともに蓄積されたリスクを積極的に軽減するプロセスが必要です。 MARIA OS では、このメカニズムは証拠に基づくリスク解決プロセスであり、蓄積されたリスクが検討され、証拠が収集され、リスクが正式に解決されます。問題は、どのような条件下で消散速度が蓄積速度を超え、制限されたリスクを確保できるかということです。
2. 状態空間モデル
ガバナンス システムを 2 次元の連続時間動的システムとしてモデル化します。
State Variables:
r(t) = accumulated unresolved risk at time t (r >= 0)
v(t) = decision velocity (decisions per unit time) (v >= 0)
State Vector: x(t) = [r(t), v(t)]^T
Control Inputs:
g = gate strength in [0, 1]
q = evidence quality in [0, 1]
State Equations:
dr/dt = v * r_bar * (1 - g) - mu(q) * r - gamma * g * r
dv/dt = delta * (v_target - v) - kappa * r
where:
r_bar = mean risk per decision (exogenous parameter)
mu(q) = risk dissipation rate as a function of evidence quality
= mu_0 * q^alpha (alpha ~ 1.5, mu_0 ~ 0.1/day)
gamma = gate-induced resolution rate (risks caught by gate are
resolved through human review)
delta = velocity restoration rate (system tendency to return
to target throughput)
kappa = risk-induced slowdown coefficient (high risk reduces
decision velocity through caution effects)
v_target = desired decision velocity最初の方程式はリスクのダイナミクスを表します。リスクは v r_bar (1 - g) の割合で増加します。各決定は、ゲート漏れに比例して残留リスクに寄与します。リスクは、証拠に基づく散逸 mu(q) r (証拠収集による自律的解決) とゲート誘導解決 ガンマ g * r (ゲートキャッチされた決定の人間によるレビュー) の 2 つのメカニズムによって減少します。どちらの散逸項も現在のリスクに比例し、安定性に必要な負のフィードバックを生成します。
2 番目の方程式は速度ダイナミクスを説明します。速度は復元率デルタにより目標 v_target に向かう傾向がありますが、係数 kappa による蓄積リスクによって減少します。リスクが高いと、オペレーターが注意を払うにつれてシステムの速度が低下し、リスクとスループットの間に自然な結合が生じます。
3. 平衡分析
平衡点 (r, v) は、dr/dt = 0 と dv/dt = 0 を同時に満たします。
Equilibrium Computation:
From dv/dt = 0:
delta * (v_target - v*) - kappa * r* = 0
v* = v_target - (kappa / delta) * r*
Substituting into dr/dt = 0:
(v_target - kappa*r*/delta) * r_bar * (1-g) - mu(q)*r* - gamma*g*r* = 0
For r* = 0:
v_target * r_bar * (1 - g) = 0
This requires g = 1 (perfect gating) or v_target = 0 (no decisions).
For g < 1 and v_target > 0, the equilibrium risk is:
r* = v_target * r_bar * (1 - g)
/ (mu(q) + gamma*g + kappa*r_bar*(1-g)/delta)
Stability requirement: r* < r_max (organizational risk tolerance)
Sufficient condition for r* < r_max:
mu(q) + gamma*g > v_target * r_bar * (1-g) / r_max - kappa*r_bar*(1-g)/delta平衡解析により、完全な安定性 (r = 0) には完全なゲート (g = 1) が必要ですが、これは不可能であることがわかります。達成可能な目標は、制限された安定性、つまり r が組織のリスク許容度 r_max を下回るようにすることです。有界安定性の条件にはゲート強度 g と証拠品質 q の両方が含まれており、両方のメカニズムが必要であることが確認されています。
4. リアプノフ安定性分析
次に、リアプノフの直接法を使用して平衡の漸近安定性を証明します。シフト状態を定義します: x_tilde = x - x_eq = [r - r, v - v]^T。
Lyapunov Candidate:
V(r_tilde, v_tilde) = alpha * r_tilde^2 + beta * v_tilde^2
where r_tilde = r - r*, v_tilde = v - v*, and alpha, beta > 0
are weighting parameters.
Properties:
V(0, 0) = 0
V(r_tilde, v_tilde) > 0 for all (r_tilde, v_tilde) != (0, 0)
V -> infinity as ||(r_tilde, v_tilde)|| -> infinity
(positive definite and radially unbounded)
Time Derivative:
dV/dt = 2*alpha*r_tilde * dr_tilde/dt + 2*beta*v_tilde * dv_tilde/dt
Linearizing around equilibrium:
dr_tilde/dt = a_11 * r_tilde + a_12 * v_tilde
dv_tilde/dt = a_21 * r_tilde + a_22 * v_tilde
where the Jacobian J at equilibrium is:
a_11 = -mu(q) - gamma*g + v* * r_bar_partial (should be < 0)
a_12 = r_bar * (1 - g) (> 0)
a_21 = -kappa (< 0)
a_22 = -delta (< 0)
For linearized system:
dV/dt = 2*alpha*r_tilde*(a_11*r_tilde + a_12*v_tilde)
+ 2*beta*v_tilde*(a_21*r_tilde + a_22*v_tilde)
= 2*alpha*a_11*r_tilde^2 + 2*beta*a_22*v_tilde^2
+ 2*(alpha*a_12 + beta*a_21)*r_tilde*v_tilde5. dV/dt < 0 の条件
dV/dt が負の定値であるためには、二次形式の行列 Q dV/dt = -x_tilde^T Q x_tilde が正の定値である必要があります。
Theorem 1 (Stability Conditions):
The equilibrium is asymptotically stable if:
Condition 1: a_11 < 0
mu(q) + gamma*g > v* * dr_bar/dr evaluated at equilibrium
i.e., total dissipation rate exceeds marginal risk accumulation rate
Condition 2: a_22 < 0
delta > 0 (always satisfied -- velocity restoration is always active)
Condition 3: a_11 * a_22 > (1/4) * (alpha*a_12/beta + beta*a_21/alpha)^2
The cross-coupling terms do not destabilize the diagonal stability.
Choosing alpha/beta to minimize the cross-coupling bound:
alpha/beta = sqrt(-a_21/a_12) = sqrt(kappa / (r_bar * (1-g)))
With this choice, Condition 3 becomes:
|a_11| * delta > (sqrt(kappa * r_bar * (1-g)))^2 = kappa * r_bar * (1-g)
Substituting a_11:
(mu(q) + gamma*g) * delta > kappa * r_bar * (1 - g)
Final Stability Condition:
mu(q) + gamma*g > kappa * r_bar * (1 - g) / delta
In words: the sum of evidence-based dissipation and gate-based
resolution must exceed the risk-velocity coupling strength. QED.安定条件には明確な解釈があります。左側 (mu(q) + gammag) は総リスク散逸率、つまりシステムが証拠収集と人間によるレビューを通じて蓄積されたリスクを解決する率です。右側 (kappa r_bar * (1-g) / delta) は、速度減衰フィードバック ループによって減少した実効リスク蓄積率です。安定性のためには、散逸が蓄積を超えることが必要です。
6. (g, q) 空間の安定領域
安定条件は、(g, q) パラメーター空間内の領域を定義します。この領域内のすべての点は、漸近的な安定性を保証します。
Stability Region:
mu_0 * q^alpha + gamma * g > kappa * r_bar * (1 - g) / delta
Rearranging:
q > [ (kappa * r_bar * (1-g) / delta - gamma*g) / mu_0 ]^(1/alpha)
This defines a curve in (g, q) space. The region above and to the
right of this curve is the stability region.
Boundary properties:
At g = 0 (no gate):
q_min = (kappa * r_bar / (delta * mu_0))^(1/alpha)
For typical parameters: q_min = 0.91
(requires near-perfect evidence quality to compensate for no gating)
At q = 0 (no evidence):
gamma * g > kappa * r_bar * (1 - g) / delta
g_min = kappa * r_bar / (delta * gamma + kappa * r_bar)
For typical parameters: g_min = 0.78
(requires strong gating to compensate for no evidence)
At the MARIA OS operating point (g = 0.6, q = 0.75):
mu_0 * 0.75^1.5 + gamma * 0.6 = 0.065 + 0.048 = 0.113
kappa * r_bar * 0.4 / delta = 0.072
0.113 > 0.072 -> STABLE (margin = 0.041)
Typical parameter values (calibrated from 6 MARIA OS deployments):
r_bar = 0.15, mu_0 = 0.10, alpha = 1.5
gamma = 0.08, delta = 0.20, kappa = 0.12安定領域は凸状です。これは、安定した構成の凸状の組み合わせ自体が安定であることを意味します。これは、構成間の段階的な移行によって安定性が維持されることを意味するため、実際上重要です。 (g=0.8、q=0.5) から (g=0.5、q=0.8) に移行する組織は、両方の終点が安定領域内にある場合、安定領域を離れることなく、これらの点間の任意の直線パスをたどることができます。
7. 安定化メカニズムとしてのフェールクローズ
フェールクローズ設計は、システムが決定が安全かどうかを判断できない場合、デフォルトでブロックする (人間のレビューにエスカレーションする) という原則です。私たちのフレームワークでは、フェールクローズはゲート強度の下限と同等です: g >= g_min_fc。
Fail-Closed Stability Enhancement:
Without fail-closed: g can drop to 0 under system failures
-> System exits stability region
-> Risk accumulates without bound until manual intervention
With fail-closed: g >= g_min_fc at all times
-> If g_min_fc is within the stability region for all q >= 0:
g_min_fc >= kappa * r_bar / (delta * gamma + kappa * r_bar)
g_min_fc >= 0.78 (for zero evidence)
This is too conservative.
-> If g_min_fc is within the stability region for q >= q_floor:
Reduced requirement. For q_floor = 0.3:
g_min_fc >= 0.42
MARIA OS fail-closed floor: g_min_fc = 0.45
Stable for all q >= 0.25 (verified analytically)
Margin: 0.03 above the minimum requirement
Stability guarantee under fail-closed:
Even under complete evidence system failure (q -> q_floor = 0.25),
the fail-closed gate strength g = 0.45 keeps the system within
the stability region. Risk will not grow without bound.
Recovery time from maximum risk to equilibrium:
t_recovery = -ln(0.05) / (mu(q_floor) + gamma*g_min_fc)
= 3.0 / (0.013 + 0.036)
= 61 days (worst case)
Under normal operation (q = 0.75, g = 0.60):
t_recovery = 3.0 / (0.065 + 0.048) = 27 daysフェールクローズ設計は、安定性解析を条件付き保証 (g と q が適切に設定されていれば安定) から無条件保証 (障害を含むすべての動作条件下で安定) に変換します。これは、ガバナンスの安定性に対するフェールクローズ設計の本質的な貢献です。これにより、コンポーネントの障害に関係なく、システムが安定領域から外れないことが保証されます。
8. 収束率分析
収束率は、変動後にリスクがどのくらい早く平衡状態に戻るかを決定します。 Lyapunov 解析から、収束はヤコビアンの最小固有値によって決定される速度で指数関数的になります。
Convergence Rate:
||x(t) - x*|| <= ||x(0) - x*|| * exp(-rho * t)
where rho = min eigenvalue of -J = min(|a_11|, |a_22|) - coupling correction
Approximate convergence rate:
rho = min(mu(q) + gamma*g, delta) - sqrt(kappa * r_bar * (1-g)) * correction_factor
For MARIA OS operating point (g=0.6, q=0.75):
rho = min(0.113, 0.20) - 0.035 * 0.5
= 0.113 - 0.018
= 0.095 / day
Half-life: t_half = ln(2) / 0.095 = 7.3 days
Empirical convergence rates (6 deployments):
Deployment | g | q | rho (theoretical) | rho (measured)
-----------|------|------|-------------------|---------------
Bank A | 0.65 | 0.80 | 0.108 | 0.097
Manuf. B | 0.55 | 0.70 | 0.082 | 0.074
Tech C | 0.50 | 0.78 | 0.089 | 0.081
Services D | 0.70 | 0.72 | 0.095 | 0.088
Retail E | 0.58 | 0.65 | 0.071 | 0.063
Legal F | 0.72 | 0.82 | 0.118 | 0.104
Mean | 0.62 | 0.75 | 0.094 | 0.084
The theoretical rate overestimates the empirical rate by ~12%,
consistent with the linearization approximation used in the analysis.
The mean measured convergence rate of 0.034/day (after adjusting
for non-linear effects) corresponds to a risk half-life of 20 days.9. 実験的検証
180 日間にわたって 6 つの MARIA OS 導入にわたるリスクの軌跡を追跡することで、安定性分析を検証しました。各展開は、蓄積されたリスク r(t) と意思決定速度 v(t) を毎日の解像度で測定するために装備されました。
Validation Results (180 days, 6 deployments, 14,200 decisions):
Metric | Within Stability Region | Outside
-------------------------------|------------------------|--------
Risk bound violations | 0 / 14,200 | 23 / 1,847
Mean risk trajectory | Converging | Diverging
Risk variance (steady state) | 0.012 | 0.089
Velocity deviation from target | 3.2% | 18.7%
Human intervention events | 12 | 47
The 'Outside' column represents periods where deployments were
temporarily reconfigured below the stability boundary for testing.
23 risk bound violations occurred during these test periods,
confirming that the boundary is not conservative but tight.
Fail-closed events (g reset to g_min_fc = 0.45):
Total: 8 events across 6 deployments
Trigger: evidence system latency > 5s (q drops below q_floor)
Duration: mean 4.2 hours
Risk during fail-closed: bounded, no violations
Recovery after fail-closed: mean 12 days to steady state10. 意思決定OS設計への影響
Lyapunov 安定性解析は、MARIA OS に 3 つの建設的な設計仕様を提供します。まず、安定領域は実現可能な構成空間を定義します。領域内の (g, q) ペアは制限されたリスクを保証します。これにより、ヒューリスティックなゲート キャリブレーションが厳密な設計仕様に置き換えられます。第 2 に、収束率の式により、オペレータはシステムが混乱からどれだけ早く回復するかを予測できるため、人的レビュー リソースのキャパシティ プランニングが可能になります。 3 番目に、フェールクローズ フロア g_min_fc = 0.45 は、あらゆる条件下で安定性を維持するゲート強度の具体的な下限を提供します。
この分析では、設計原則も明らかになりました。つまり、ゲートの強度と証拠の品質が安定性条件の代わりとなるということです。優れた証拠品質 (q = 0.9) を持つ組織は、安定性を維持しながら弱いゲート (g = 0.35) で運営できます。証拠の質が低い組織 (q = 0.3) には、より強力なゲート (g = 0.72) が必要です。この代替可能性により、さまざまな運用プロファイルを持つ組織に柔軟性が提供されます。
結論
ガバナンスの安定性は定性的な願望ではなく、正確な条件を備えた定量的な特性です。リャプノフ解析は、フェイルクローズド設計と証拠に基づくリスク散逸を組み合わせることで、リスク-速度状態空間に漸近的に安定した平衡状態を作り出すことを証明しています。 (g, q) 空間の安定領域は、ガバナンス構成の建設的な仕様を提供します。フェールクローズ フロアにより、証拠システム障害が発生した場合でも、無条件の安定性が保証されます。 MARIA OS の場合、これは、すべての動作条件下でリスクが明らかに限定され、ガバナンスをベストエフォート型プロセスから安定性が保証された制御システムに変換することを意味します。