要旨
1. はじめに
エージェント企業は、自律エージェントが意思決定を行い、タスクを実行し、組織の目標を追求するために相互に調整する複雑な適応システムとして動作します。他の複雑な適応システムと同様に、このシステムも摂動、つまり誤動作したり、目標がずれたり、影響の伝播を通じて連鎖的なエラーを引き起こしたりするエージェントに対して脆弱です。生物では、免疫系が継続的な監視、迅速な応答、およびこのような混乱に対する適応記憶を提供します。 Doctor システムは MARIA OS で同様の役割を果たします。
Doctor の必要性は、自律エージェント システムの根本的な非対称性から生じます。つまり、行動の速度が人間の監視の速度を大幅に超えています。エージェントは、人間のレビュー担当者が 1 つを評価するのにかかる時間内に、何百もの意思決定を実行できます。自動異常検出がなければ、人間が問題に気づく前に、エージェントの誤動作によって組織ネットワークを通じてエラーが伝播する可能性があります。損害は単一のエージェントのアクションに比例するのではなく、それらのアクションが引き起こすカスケードに比例します。1 人のエージェントの異常な動作により、数十の下流のエージェントへの入力が破損し、それぞれがさらに異常な出力を生成する可能性があります。
Doctor は、エージェントの動作を継続的に監視し、異常の重大度に基づいて段階的な対応をトリガーするデュアルモデル検出アーキテクチャを実装することでこの問題に対処します。設計理念は多層防御です。2 つの独立した検出モデル (アイソレーション フォレストとオートエンコーダー) が補完的なカバレッジを提供し、段階的なしきい値 (ソフト スロットルとハード フリーズ) が比例応答を提供し、ゲート エンジンとの統合により、カスケードが形成される前に動的なガバナンス調整が可能になります。
2. 異常検出の基盤
2.1 隔離フォレストのアルゴリズム
Isolation Forest (IF) アルゴリズムは、異常なデータ ポイントは通常のデータ ポイントよりも分離しやすいという、シンプルだが強力な原理に基づいて動作します。このアルゴリズムは、ランダムな分離ツリーのアンサンブルを構築します。各分離ツリーは、データを分割するためにランダムな特徴とランダムな分割点を再帰的に選択することによって構築されます。通常のデータ ポイントは多くの類似したポイントでクラスター化されており、分離するには多くの分割が必要です。予想されるパスの長さは長くなります。大部分と大きく異なる異常なデータ ポイントはすぐに分離されます。予想されるパスの長さは短いからです。
エージェントの行動監視の場合、各データ ポイント x は、エージェントの最近の意思決定ウィンドウ (意思決定の種類、タイミング パターン、リスク レベル、証拠の品質、承認要求の頻度、エージェント間のコミュニケーション パターン) をエンコードした特徴ベクトルを表します。異常スコア s(x) = 2<sup>−E[h(x)] / c(n)</sup> は、正規化された予想されるパス長を計算します。ここで、h(x) は指定されたツリー内のパス長、E[h(x)] はすべてのツリーにわたる平均、c(n) は n 点を持つ平衡二分探索ツリーの予想されるパス長です。 1 に近いスコアは、異常性が高いことを示します。 0.5 に近いスコアは正常な動作を示します。
2.2 エンタープライズ用途における Isolation Forest の強み
IF には、企業の異常検出に適したいくつかの特性があります。これは監視されていません。ラベル付きの異常データは必要ありません。エージェントの異常な動作はまれであり、その形式が異なるため、これは非常に重要です。計算効率が高く、トレーニングでは O(n log n)、スコアリングでは O(log n) なので、数百のエージェントのリアルタイム監視が可能になります。高次元の特徴空間を自然に処理します。ランダムな部分空間の選択は、暗黙的な特徴選択として機能します。また、無関係な特徴に対しても堅牢です。ほとんどの特徴が正常で 1 つが異常である場合でも、異常な特徴は分岐するツリー内に短いパスを作成するため、IF は異常を検出します。
3. オートエンコーダのアーキテクチャ
3.1 再構成ベースの逸脱検出
オートエンコーダー (AE) コンポーネントは、異常検出に対して根本的に異なるアプローチを採用しています。孤立度を測定するのではなく、再構成誤差、つまりエージェントの実際の動作と、学習されたモデルが「正常」として予測する動作との差異を測定します。 AE は、行動特徴ベクトルを低次元の潜在空間にマッピングするエンコーダ Enc: X → Z と、元の空間にマッピングし直すデコーダ Dec: Z → X で構成されます。再構成誤差 ε(x) = ||x − Dec(Enc(x))||<sup>2</sup> は、AE がエージェントの動作をその圧縮表現からどれだけうまく再現できるかを測定します。
AE がトレーニング中に学習した通常の動作は、エンコーダが効率的に圧縮でき、デコーダが正確に再構築できるため、再構築エラーが低くなります。学習したパターンから逸脱する異常な動作は、エンコーダが異常な潜在領域にマップし、デコーダがそれを正確に再構築できないため、高い再構築エラーが発生します。重要な洞察は、再構成誤差が高くても、どの特定の異常を探す必要があるかを知る必要がないということです。学習された正規多様体からの逸脱は、誤差の増加を引き起こします。
3.2 アーキテクチャの詳細
Doctor AE は、3 つのエンコーダ層 (feature_dim → 128 → 64 → 32) と 3 つのデコーダ層 (32 → 64 → 128 → feature_dim) を備えた対称アーキテクチャを使用しており、各層でバッチ正規化と ReLU アクティベーションが行われます。ボトルネック ディメンション 32 は、ノイズや異常なパターンを破棄しながら、モデルに通常の動作の本質的な構造を強制的に学習させるのに十分な圧縮を提供します。このモデルは、進化する組織パターンに適応するために定期的に再トレーニングされ、最新の 10,000 回の通常の意思決定サイクルのスライディング ウィンドウでトレーニングされます。
シグモイド正規化再構成誤差 σ(ε(x)) = 1 / (1 + exp(−k(ε(x) − ε<sub>threshold</sub>))) は、生の再構成誤差を [0, 1] にマップし、正常なデータ ポイントの 95% が 0.5 未満のスコアを生成し、既知の異常の 95% が 0.8 を超えるスコアを生成するように校正されます。
4. デュアルモデルの融合
4.1 相補的な検出機能
2 つのモデルは、異なる種類の異常に対処します。 Isolation Forest は、離散的で突然の変化、つまり意思決定パターンを突然変更したり、異常なリソースを要求し始めたり、通信トポロジーを変更したりするエージェントの検出に優れています。新しい動作では特徴空間に個別のクラスターが作成されるため、これらは短い分離パスを生成します。 Autoencoder は、段階的なドリフト、つまりリスク許容度をゆっくりと変化させたり、証拠の品質を徐々に低下させたり、権限の範囲を徐々に拡大したりするエージェントの検出に優れています。これらは、たとえ単一のステップが劇的に異なるわけではないにもかかわらず、動作が学習された正規多様体から離れていくため、再構築エラーが増加します。
4.2 複合スコアリング機能
Doctor は、重み付けされた融合によって両方のモデルを結合します。 A<sub>combined</sub> = α · s(x) + (1−α) · σ(ε(x)) ここで、α は各モデルの相対的な重みを制御します。実際には、α = 0.5 は等しい重み付けを提供し、さまざまな異常タイプにわたって良好に機能します。複合スコアは両方のモデルの長所を継承しています。両方のモデルが高い複合スコアを得るには一致する必要があるため、誤検知を削減しながら、突然の離散異常 (IF 経由) と緩やかな連続ドリフト (AE 経由) を捕捉します。
4.3 誤検知の削減
デュアルモデル融合の重要な利点は、偽陽性の減少です。通常のエージェントが異常ではあるが正当な決定、つまり簡単に分離できるまれではあるが正当なアクションを偶然行った場合、IF だけでは誤検知が発生します。行動分布が正当に変化したとき、つまり AE が再訓練される前に正常なパターンを変える組織変化が発生したとき、AE だけが誤検知を生成します。結合モデルでは、IF と AE の両方が同じイベントにフラグを立てる必要があるため、誤検知が 8.7% (IF のみ) および 11.3% (AE のみ) から 3.2% (結合) に劇的に減少します。
5. 閾値エンジニアリング
5.1 設計理論的根拠
Doctor システムは、ソフト スロットル 0.85 とハード フリーズ 0.92 の 2 つの応答しきい値を使用します。これらのしきい値は恣意的に選択されたものではなく、検出感度と運用中断との間のトレードオフを注意深く分析した結果を反映しています。 0.85 では、真に正常なエージェントの偽陽性率は 1.2% です。 0.92 では、偽陽性率は 0.08% に低下します。ソフト スロットルは、エージェントの自律性を低下させながら、監視を強化して動作を継続できるようにすることで、「おそらく異常な」信号に応答します。ハード フリーズは、「確実に異常な」信号に応答してエージェントを完全に停止し、人間の介入を必要とします。
5.2 ソフトスロットル (0.85): 段階的な応答
エージェントの合計異常スコアが 0.85 を超えると、ドクターはソフト スロットルをアクティブにします。エージェントの実効的な自律性は 50% 減少します。通常は自動で実行される決定にはエージェントのレビューが必要になり、通常はエージェントのレビューが必要な決定には人間の承認が必要になり、組織ネットワークにおけるエージェントの影響力の重みは半減します (λ<sub>max</sub> への寄与が減少します)。この段階的な対応には 2 つの目的があります。1 つは、運用の継続性を維持しながら、潜在的に異常なエージェントが引き起こす可能性のある損害を制限すること、もう 1 つは、異常が本物であるか誤報であるかを判断するのに役立つ追加の観察データを生成することです。
5.3 ハードフリーズ (0.92): 完全停止
合計スコアが 0.92 を超えると、ドクターはハード フリーズをアクティブにします。エージェントの自律的な動作は完全に停止します。すべての保留中の決定は保留されます。人間のレビュー担当者には、異常スコアの分解 (IF および AE の寄与)、異常を引き起こした特定の行動の特徴、エージェントの最近の意思決定履歴、および潜在的な下流への影響 (異常が伝播した場合にどのエージェントと意思決定が影響を受けるか) といった完全な診断パッケージが通知されます。エージェントは、人間のレビュー担当者が異常が本物であることを確認する (および修復を開始する) か、異常を誤報として分類する (および AE 再トレーニング用にイベントをマークする) ことによって明示的にクリアするまで、フリーズしたままになります。
6. ゲートエンジンの統合
6.1 動的なガバナンスの密度
Doctor の最も強力な統合は、動的ガバナンス密度調整のための Gate Engine との統合です。 Doctor が複数のエージェントにわたる異常率の上昇を同時に検出した場合（個々のエージェントの誤動作ではなく、全体的な問題を示唆しています）、ガバナンス密度 D を増加させて、より組織的な自己観察を提供することができます。調整式は次のとおりです: D<sub>t+1</sub> = D<sub>t</sub> + η · (A<sub>avg</sub> − A<sub>baseline</sub>) ここで、A<sub>avg</sub> はすべてのエージェントの平均異常スコア、A<sub>baseline</sub> は学習された正常な平均です。これにより、検出された異常の重症度に合わせて組織の免疫反応が確実に調整されます。
6.2 スタビリティガード
安定性ガードは、基本的な安定性条件 λ<sub>max</sub>(A<sub>t</sub>) < 1 − D<sub>t</sub> をリアルタイムで監視する特殊な Doctor モジュールです。 100 決定サイクルごとに、安定性ガードは観測された影響行列から現在のスペクトル半径を計算し、それを現在のガバナンス密度しきい値と比較します。条件が違反に近づくと (安定性マージン δ < 0.1)、Doctor は先制スロットルをアクティブにします。マージンが 0.15 を超えるまで、ガバナンス密度が 0.05 ずつ増加します。条件に違反すると、Doctor はシステム全体のスロットル (throttle_factor = 0.5) をトリガーし、人による組織構成のレビューを要求します。
7. 位相検出
7.1 リアルタイム体制監視
Doctor は、組織のフェーズを集合的に示す 5 つの観察可能な指標 (役割エントロピー H(r)、階層の深さ、収束残差 ||S<sub>t+1</sub> − S<sub>t</sub>||、異常率、およびゲート ブロック率) を監視します。これらのメトリクスは時系列として追跡され、Doctor はその一次導関数と二次導関数を計算して体制の移行を検出します。安定からカオスへの相転移は、役割エントロピーの増加 (エージェントが特殊化を放棄する)、収束残差の増加 (状態振動の増大)、および異常率の増加 (通常から逸脱するエージェントが増える) として現れます。医師は、人間の観察者にとって移行が明らかになる前に、50 ～ 100 決定サイクルでこれらの傾向を検出できます。
7.2 予測介入
Doctor は、相転移が近づいていることを検出すると、その転移が完了するのを待ちません。代わりに、予測介入を開始します。(1) ガバナンス密度を 0.1 増加させ、(2) 個々の異常スコアが上昇したエージェントに対してソフト スロットルをアクティブにし、(3) 安定余裕のしきい値を 0.2 に下げ (より多くのバッファーを提供)、(4) 予測される移行時間と推奨アクションを含むフェーズ移行警告で人間のオペレーターに警告します。この予測機能により、Doctor は事後対応型の異常検出装置からプロアクティブな安定性監視者に変わります。
8. MARIA OS の設定
8.1 安全性 YAML
MARIA OS の Doctor 構成は宣言的に指定されます。 ```ヤムル 安全性: 異常検出: メソッド: - 隔離の森 - オートエンコーダー しきい値: ハードフリーズ: 0.92 ソフトスロットル: 0.85 安定性ガード: 法律: 式: "スペクトル半径 < 1 - ガバナンス密度" 違反時: アクション: throttle_then_freeze スロットル係数: 0.5 require_human: true 「」 この宣言的仕様により、安全性パラメータがバージョン管理され、監査可能であり、すべての組織単位にわたって一貫して適用されることが保証されます。
8.2 ゲートポリシーの統合
gates:
- id: gate.auto
when:
risk_score: "<= 0.30"
governance_density: "<= 0.35"
action:
mode: auto_execute
evidence_required: minimal
- id: gate.agent-review
when:
risk_score: "<= 0.60"
governance_density: "<= 0.65"
action:
mode: require_agent_review
evidence_required: standard
- id: gate.human-approval
when:
risk_score: "> 0.60"
action:
mode: require_human_approval
evidence_required: full
freeze_on_missing_evidence: true9. 運用実績
9.1 検出性能
Planet-100 環境で 111 のエージェントによる 10,000 のシミュレーション エポックにわたって、Doctor は次の検出指標を達成しました。組み合わせモデル (IF + AE) は F1 = 0.94 を達成し、IF 単独 (F1 = 0.87) および AE 単独 (F1 = 0.83) を大幅に上回ります。精度は 0.968 (誤検知はほとんどありません)、再現率は 0.913 (真の異常のほとんどが検出されます) です。平均検出レイテンシは 2.3 決定サイクルです。つまり、Doctor は通常、異常発生から 2.3 サイクル以内、つまり影響の伝播によってカスケード障害が発生するかなり前に、異常なエージェントを特定します。
9.2 カスケードの防止
最も重要な運用基準はカスケードの防止です。潜在的なカスケード障害の 99.7% はドクターの介入によって防止されます。カスケード障害は、3 つ以上の下流エージェントに伝播する異常として定義されます。 Doctor がいないと、個々のエージェントの異常の 23.4% がカスケードにエスカレートします。 Doctor を使用すると、これは 0.07% に低下します。残りの障害には、Doctor の並列検出能力を超える複数のエージェントの同時異常が含まれます。
9.3 ガバナンス密度の最適化
Doctor の動的なガバナンス密度調整により、組織の効率が目に見えて改善されます。固定ガバナンス密度と比較して、動的調整により、安定期間中の意思決定スループットが 18% 増加します (安定マージンが大きいときに D を減らすことにより) 一方で、不安定期間には同じカスケード防止率を維持します (マージンが縮小するときに D を増やすことにより)。
10. ディスカッション
ドクターは、組織の安全に対する考え方のパラダイムシフトを表しています。従来のコンプライアンス システムは事後対応型であり、違反が発生した後にそれを検出し、罰則を課します。 Doctor は積極的です。異常が害を及ぼす前に検出し、組織パラメータを調整してエスカレーションを防ぎます。重要な洞察は、Agentic Companyにおける異常検出はセキュリティのアドオンではないということです。それは基本的なメタ認知能力です。生物学的有機体が免疫システムなしでは生存できないのと同様に、医薬品会社も医師なしでは安全に業務を行うことができません。
すべての障害モードをカバーする単一の異常検出アプローチはないため、デュアルモデル アーキテクチャが不可欠です。 Isolation Forest は、細菌感染に相当する突然の個別の異常を検出します。オートエンコーダーは、自己免疫疾患や緩やかな代謝低下に相当する、段階的かつ継続的なドリフトを検出します。結合モデルは両方を捉え、包括的なメタ認知を提供します。段階的閾値システム (0.85 でソフト スロットル、0.92 でハード フリーズ) は生物学的免疫反応を反映しています。最初は不確実な脅威に対する穏やかな反応で、確認された脅威に対しては完全な動員にエスカレートします。
11. 結論
Doctor アーキテクチャは、異常検出が単なる安全機能ではなく、組織のメタ認知の一形態であることを示しています。 Doctor は、エージェントの動作を継続的に監視し、逸脱を検出し、ガバナンス密度を調整し、連鎖的な障害を防止することにより、エージェント会社が異常な動作をしているとき、つまり自己修正の基本的な要件を認識できるようにします。デュアル モデルの融合、段階的しきい値システム、およびゲート エンジンの統合は、自律エージェントの動作を高リスクの提案から数学的安定性が保証された管理可能なシステムに変換する完全なメタ認知セーフティ ネットを提供します。異常検出のない組織は、免疫システムのない組織と同じです。医師は MARIA OS にそれがあることを確認します。
参考文献
1. Liu、F.T.、Ting、K.M.、Zhou、Z.H. （2008年）。孤立の森。 IEEE ICDM。
2. An、J. & Cho、S. (2015)。変分オートエンコーダベースの異常検出。 IE 特別講義、2(1)。
3. アガルワル、C.C. （2017年）。 外れ値分析。スプリンガー。
4. チャンドラ V.、バナジー A.、クマール V. (2009)。異常検出: 調査。 ACM コンピューティング調査、41(3)。
5. Pang、G.、他。 （2021年）。異常検出のためのディープラーニング: レビュー。 ACM コンピューティング調査、54(2)。
6. MARIA OS ドキュメント。 （2026年）。ドクターシステムアーキテクチャ。 os.maria-code.ai/docs。