1. はじめに: 代理店企業にとって異常検出が必要な理由
エージェント企業 (AI エージェントがガバナンスの制約の下で自律的にビジネス プロセスを実行する組織) の約束は、予期された動作からの逸脱が取り返しのつかない損害を引き起こす前に検出され、修正されるという重要な前提に基づいています。この仮定は自動的には満たされません。調達決定を実行する権限を与えられた自律エージェントは、ポリシーがずれたり、報酬信号が破損したりした場合に、特定のベンダーに体系的に利益をもたらす購入を承認できます。顧客とのコミュニケーションを管理するエージェントは、その言語モデルが幻覚を起こした場合、規制要件に違反するメッセージを送信する可能性があります。リソース割り当てを最適化するエージェントは、その目的関数にエッジ ケースがある場合、すべてのリソースを 1 つのゾーンに集中させ、他のゾーンを枯渇させる可能性があります。
これらは仮説的なシナリオではありません。あらゆる複雑なシステムには偏差が生じます。熱力学第 2 法則は、閉鎖系ではエントロピーが増加することを保証します。組織的に同等なことは、行動のドリフトが、十分に複雑なマルチエージェント システムのデフォルトの軌道であるということです。問題は、逸脱が発生するかどうかではなく、システム全体の障害につながる前に逸脱が検出されるかどうかです。
従来のソフトウェア監視 (ログ集約、しきい値ベースのアラート、ルールベースの異常検出) は、エージェント企業には不十分です。ルールベースのシステムは設計時に予期された異常のみを検出できますが、自律エージェントの行動空間は広大であり、最も危険な異常はまさに予期されなかった異常です。統計的しきい値監視では、事前定義された制限を超えるエージェントを検出できますが、わずかな相関異常を示しながら公称範囲内で動作するエージェントは検出できません。たとえば、トランザクションを通常の速度と量で処理するが、高額のトランザクションを特定の下流エージェントに体系的にルーティングするエージェントなどです。
必要なのは、通常のエージェントの動作の複雑な高次元分布をモデル化し、特定の種類の逸脱が予想されていたかどうかに関係なく、この分布からの逸脱にフラグを立てることができる学習型異常検出システムです。この論文では、そのような 2 つの方法、Isolation Forest と Autoencoder ベースの再構築エラーを紹介し、それらの組み合わせがエージェント企業に堅牢な安全層をどのように提供するかを示します。
異常が検出されなかった場合の経済的影響は深刻であり、同様の領域で十分に文書化されています。従来の金融サービスでは、ソシエテ ジェネラルの 1 人の不正トレーダーが、自動監視システムが異常性を増す取引パターンを警告できなかった期間に 49 億ユーロの損失を引き起こしました。ソフトウェア エンジニアリングでは、アマゾン ウェブ サービスの 1 つのロード バランサーの設定ミスにより、数百もの依存サービスに影響を与える連鎖的な停止が発生しました。自動運転車の開発では、何百万マイルも正常に動作していたにもかかわらず、認識システムのエッジケースの故障が事故を引き起こしました。これらの障害にはそれぞれ共通のパターンがあります。つまり、監視システムの設計範囲外にあった異常な状態が、緊密に結合されたシステムに伝播し、最終的に致命的な損傷を引き起こすというものです。Agentic Companyも組織規模で同様のリスクに直面しています。
エージェント企業における異常検出の課題は、エージェントが適応型であるという事実によってさらに複雑になります。異常がバグや構成エラーから発生する静的ソフトウェア システムとは異なり、エージェントの異常は、エージェントがポリシーを最適化するときに時間の経過とともに変動する学習された動作から発生する可能性があります。報酬シグナルの抜け穴を発見したエージェントは、徐々に抜け穴を悪用する方向に行動を変え、突然の逸脱よりも検出がはるかに難しいゆっくりとしたドリフトを生成します。この適応的な異常の生成には、点の異常 (突然の逸脱) だけでなく、集合的な異常 (段階的なドリフト) や構造的異常 (エージェント間の関係の変化) を識別できる検出方法が必要です。
1.1 アルゴリズムスタックの安全層
エージェント組織の 7 層アルゴリズム スタックでは、安全層 (層 7) が最も外側の位置を占め、他のすべての層を継続的な監視エンベロープで包みます。他のレイヤーとの関係は次のとおりです。 |レイヤー |アルゴリズム |安全層の相互作用 | |---|---|---| | 1. 認知 |変圧器 | LLM 出力の幻覚、毒性、ポリシー違反を監視 | | 2. 決定 |勾配ブースティング |分布の変化、信頼性の崩壊の予測を監視 | | 3. 構造 | GNN |異常なエッジ形成、ノード分離のグラフ トポロジを監視 | | 4. 制御 | RL/俳優兼評論家 |報酬ハッキングや目標の不一致についてポリシーの更新を監視 | | 5. 探検 |多腕の盗賊 |立ち往生したアームや搾取トラップの探査を監視 | | 6. 抽象化 | PCA |情報損失の急増に対する次元削減を監視します。 | 7. 安全性 |隔離フォレスト + オートエンコーダー |検出器の劣化、コンセプトドリフトをセルフモニター |
安全層は他のすべての層からテレメトリを受信し、MARIA OS ガバナンス エンジンに供給される異常スコアを生成します。異常スコアが調整されたしきい値を超えると、ガバナンス エンジンはログ記録 (観察) からスロットル (エージェントの自律性を低下させる)、フリーズ (人間によるレビューを保留するまでエージェントの操作を一時停止する) までの範囲の比例応答をトリガーします。
1.2 紙の構成
セクション 2 では、エージェントのコンテキストにおける異常検出の問題を形式的に説明します。セクション 3 では、組織の行動監視に適応した Isolation Forest について説明します。セクション 4 では、学習された正常な動作の多様体を使用したオートエンコーダー ベースの検出について説明します。セクション 5 では、組み合わせた検出方法を導き出します。セクション 6 では、企業リスクのしきい値の調整について説明します。セクション 7 では、異常 - スロットル - フリーズのカスケードについて説明します。セクション 8 では、リアルタイム ストリーミング アーキテクチャについて説明します。セクション 9 では、MARIA OS 安定性ガードを正式に規定します。セクション 10 では誤検知管理について説明します。セクション 11 では実験結果を示します。セクション 12 では、敵対的な堅牢性について説明します。セクション 13 は終了です。
2. 異常検出問題の形式化
2.1 半監視型異常設定
企業コンテキストにおける異常検出は、半監視設定で行われます。通常の動作の例は豊富にありますが (組織の運用履歴から収集)、異常な動作の例はほとんどありません (異常は定義上まれなイベントであり、将来の異常の具体的な形式は不明です)。この非対称性が検出方法の選択を根本的に左右します。異常クラスは直接モデル化するには多様性があり、まばらすぎるため、教師あり分類は実用的ではありません。統計的外れ値は高次元の動作空間では一般的であり、ほとんどが良性であるため、完全に教師なしの方法 (統計的外れ値を検出する) では、偽陽性が多すぎます。最適なアプローチは半教師ありです。豊富な正常例から正常動作の詳細なモデルを学習し、学習した正常値から大きく逸脱する観測値にフラグを立てます。モデル。 Isolation Forest と Autoencoder は両方とも、この半教師ありパラダイムで動作します。
2.2 エージェントの行動空間
各エージェント $a_i$ が各タイム ステップ $t$ で行動観察ベクトル $\mathbf{x}_i(t) \in \mathbb{R}^d$ を生成するようにします。このベクトルは、抽象化層 (アルゴリズム スタック ペーパーのセクション 6) で使用されるのと同じ特徴ベクトルであり、タスク プロファイル、通信パターン、パフォーマンス メトリック、ガバナンス コンプライアンス指標が含まれます。動作空間は、考えられるすべての観測ベクトルの和集合です: $\mathcal{X} = \mathbb{R}^d$。
2.2 通常の動作の分布
通常の動作を、動作空間上の確率分布 $P_{\text{normal}}(\mathbf{x})$ としてモデル化します。エージェントの観察 $\mathbf{x}_i(t)$ が $P_{\text{normal}}$ から生成された場合は正常であり、他の分布 $P_{\text{anomaly}}$ から生成された場合は異常です。正式には、異常検出問題は二項仮説検定です。 $$ H_0: \mathbf{x}_i(t) \sim P_{\text{正常}} \quad \text{vs.} \quad H_1: \mathbf{x}_i(t) \sim P_{\text{異常}} $$ 課題は、$P_{\text{normal}}$ は未知でありデータから学習する必要があるのに対し、$P_{\text{anomaly}}$ は未知であるだけでなく認識できないことです。異常は無限に多様な形をとる可能性があり、最も危険なものはこれまでに見たことのないものです。この非対称性は教師あり分類を排除し、正規性を列挙するのではなく特徴付けることを学習する教師なしまたは半教師ありのアプローチを義務付けます。異常なタイプ。
$P_{\text{anomaly}}$ が無限に多くの考えられる異常分布を包含し、それぞれが異なるタイプの偏差を表すことに注目することで、この課題はより正確になります。報酬ハッキングの異常は、通信チャネルの異常とは異なる分布を生成し、リソース枯渇の異常とも異なります。検出システムは、特にトレーニングを受けていなくても、これらすべてに敏感でなければなりません。異常タイプ全体にわたる一般化に対するこの要件は、特定の異常分布を仮定するパラメトリック手法よりもモデルフリー手法 (Isolation Forest など) や多様体学習手法 (Autoencoder など) が好まれる根本的な理由です。
2.3 エージェントシステムの異常分類法
私たちはエージェント システムの異常を 4 つのカテゴリに分類し、それぞれに異なる検出感度が必要です。 |カテゴリー |説明 |例 |重大度 | |---|---|---|---| | ポイント異常 |単一の観測値が通常から逸脱する |エージェントは過去の平均の 100 倍のトランザクションを処理します |中 | | コンテキストの異常 |観測は世界的には正常ですが、文脈では異常です。エージェントは火曜日に週末のメンテナンス アクティビティを大量に実行します。中 | | 集団的異常 |個々に正常な観察の連続が異常なパターンを形成する |エージェントは 30 日間かけて承認のしきい値を徐々に下げます |高 | | 構造異常 |エージェントと他のエージェントの関係が異常に変化する |エージェントが未承認のソースからの入力の受信を開始します。クリティカル | Isolation Forest は、ポイントおよびコンテキストの異常の検出に優れています。オートエンコーダー集団的および構造的異常の検出に優れています。それらの組み合わせは 4 つのカテゴリすべてをカバーします。
3. ツリーベースの異常スコアリングのための隔離フォレスト
3.1 アルゴリズムの直感
Isolation Forest は、異常は簡単に分離できるという美しくシンプルな洞察に基づいています。ほとんどが正常なポイントからなるデータセットでは、異常なポイントは密集領域から遠く離れた位置にあり、ランダムな分割がほとんどなく、残りのポイントから分離できます。同様のポイントに囲まれた通常のポイントを分離するには、多くのパーティションが必要です。したがって、ポイントを分離するために必要なパーティションの数 (ランダム バイナリ ツリーにおけるその パス長) は、その異常スコアの直接的な尺度になります。
3.2 アルゴリズムの定式化
分離フォレストは、$T$ 分離ツリーで構成されます。各分離ツリーは、$q$ の範囲内で特徴 $q$ と分割値 $p$ をランダムに選択することによって構築され、各点が独自のリーフ内で分離されるか、ツリーが最大深さ $\lceil \log_2 n \rceil$ に達するまでデータを再帰的に分割します。観測値 $\mathbf{x}$ のパス長 $h(\mathbf{x})$ は、ルートから $\mathbf{x}$ を含むリーフまでのエッジの数です。異常スコアは次のとおりです。 $$ s(\mathbf{x}, n) = 2^{-\frac{E[h(\mathbf{x})]}{c(n)}} $$ ここで、$E[h(\mathbf{x})]$ はすべての $T$ ツリーにわたる平均パス長であり、$c(n) = 2H(n-1) - 2(n-1)/n$ は、失敗した $n$ 要素の二分探索ツリー内の平均パス長であり、正規化係数として機能します。 1 に近いスコアは異常を示します (経路長が短く、分離が容易です)。 0.5 に近いスコアは、正常な観察 (平均経路長) を示します。スコア0 に近い場合は、正常領域が非常に密集していることを示します。
Isolation Forest の理論的基礎は、異常には 2 つの際立った特性があるという観察に基づいています。それは、異常が 少数 (総人口のごく一部を構成する) であり、異なる (通常のインスタンスと大きく異なる属性値を持つ) です。これら 2 つの特性が連携して、異常の分離が容易になります。異常は数が少なく、異なるため、ランダムなパーティションにより、ごく少数の分割で通常の大部分から異常が分離されます。異常の予想されるパスの長さは $O(1)$ (データセットのサイズに関係なく一定) ですが、正常なインスタンスの予想されるパスの長さは $O(\log n)$ です。この $O(\log n)$ 分離により、異常検出の統計的検出力が提供され、Isolation Forest が非常に大規模なデータセットでも高い精度を維持できる理由が説明されています。
3.3 エージェント監視への適応
エージェントのコンテキストでは、さまざまな組織規模で異常を捕捉するために、複数の粒度で隔離フォレスト モデルを構築します。 - エージェント レベル: エージェントごとに 1 つのフォレスト。そのエージェントの過去の行動ベクトルに基づいてトレーニングされます。個々のエージェントの通常の行動パターンからの逸脱を検出します。 - ロール レベル: 組織のロール (クラスター) ごとに 1 つのフォレスト。そのロール内のすべてのエージェントの行動ベクトルに基づいてトレーニングされます。割り当てられた役割と矛盾する動作をするエージェントを検出します。 - 組織レベル: 組織全体に 1 つのフォレストがあり、すべてのエージェントに対してトレーニングされます。役割のコンテキストに関係なく、全体的に異常なエージェントを検出します。 多粒度のアプローチにより、ローカルな異常 (独自のベースラインから逸脱したエージェント) とグローバルな異常 (すべての組織標準から逸脱したエージェント) の両方が確実に検出されます。
多粒度アプローチは、基本レートの問題にも対処します。組織レベルでは、異常の基本率は非常に低いため (通常は観測値の 0.1 ～ 0.5%)、検出は統計的に困難です。エージェント レベルでは、各エージェントの行動分布が狭く、偏差が統計的に有意になるため、基本レートは高くなります。役割レベルでは、基本レートは中程度です。粒度全体のスコアを組み合わせることで、各レベルの統計的強度を活用した堅牢な検出を実現します。
3.4 ストリーミング分離フォレスト
Standard Isolation Forest はバッチ アルゴリズムであり、固定データセット上にツリーを構築します。ライブ エージェント システムでは、エージェントが学習し、タスクが変化し、組織が適応するにつれて、行動分布は時間の経過とともに進化します。エージェントごとに最新の $W$ 観測のスライディング ウィンドウを維持し、更新されたウィンドウで定期的にフォレストを再構築するストリーミング バリアントを実装します。再構築の頻度は適応的です。動作の分布が変化している (異常スコアの分布を監視することで検出される) 場合はより速くなり、分布が安定している場合はより遅くなります。実際には、通常の運用中は 15 分ごとに、組織の移行中 (イベントの再クラスタリング、新しいエージェントのオンボーディング、ポリシーの変更) は 2 分ごとに再構築します。
スライディング ウィンドウ アプローチでは、感度と安定性の間にトレードオフが生じます。短いウィンドウ (例: 1 時間) では、モデルは最近の動作の変化に対して非常に敏感になりますが、モデルが正当な動作の変化にまだ適応していない場合は、誤検知が発生する可能性があります。長いウィンドウ (例: 24 時間) では安定したベースラインが提供されますが、短い時間枠内に出現する異常を見逃す可能性があります。このトレードオフは、異なるウィンドウ サイズを持つ 2 つの Isolation Forest モデルを維持することで解決します。1 つは急速に発生する異常を検出するためのショート ウィンドウ モデル ($W = 2$ 時間)、もう 1 つは緩やかなドリフトを検出するためのロング ウィンドウ モデル ($W = 24$ 時間) です。少なくとも 1 つのモデルが高い異常スコアを生成した場合にのみ、観測値に異常のフラグが立てられます。点の異常についてはショート ウィンドウ スコアが優先され、集合的な異常についてはロング ウィンドウ スコアが優先されます。
3.5 異常の説明における機能の重要性
ガバナンスの重要な要件は、異常が検出されるだけでなく、異常が説明可能であることです。異常スコア 0.92 は、ガバナンス担当者に何かが間違っていることを伝えますが、それが何かではありません。異常観測の最初の分割でどの特徴が使用されたかを追跡することにより、Isolation Forest から特徴の重要性を抽出します。ツリーの浅い深さに現れるフィーチャは、異常な観測結果を残りのフィーチャから最も簡単に分離できるフィーチャであるため、異常の主な原因となります。フラグが設定された各観測ごとに、異常を引き起こす上位 3 つの特徴を提示することで、ガバナンス担当者が逸脱の性質をすぐに理解できるようにします。
4. オートエンコーダベースの異常検出
4.1 通常の動作多様体を学習する
Isolation Forest は元の特徴空間の分割を通じて異常を検出しますが、オートエンコーダーは通常の動作の圧縮表現を学習し、この圧縮表現から観測値がどの程度再構築できるかを測定することによって異常を検出します。核となる洞察は、通常の動作は、高次元の特徴空間を占めているにもかかわらず、実際には通常の操作の相関構造によって定義される低次元の多様体上にあるということです。異常な動作はこの多様体から逸脱しており、正確に再構築することはできません。
4.2 アーキテクチャ
オートエンコーダは、$d$ 次元の動作ベクトルを $m$ 次元の潜在表現 ($m \ll d$) にマッピングするエンコーダ $g_\phi: \mathbb{R}^d \to \mathbb{R}^m$ と、潜在表現から元のベクトルを再構成するデコーダ $f_\theta: \mathbb{R}^m \to \mathbb{R}^d$ で構成されます。ネットワークは、通常のデータの再構成エラーを最小限に抑えるようにトレーニングされています。 $$ \mathcal{L}(\phi, \theta) = \frac{1}{N} \sum_{i=1}^{N} \|\mathbf{x}_i - f_\theta(g_\phi(\mathbf{x}_i))\|^2 $$ トレーニング後、新しい観測値の再構成誤差が異常スコアとして機能します。 $$ \text{AnomalyScore}_{\text{AE}}(\mathbf{x}) = \|\mathbf{x} - f_\theta(g_\phi(\mathbf{x}))\|^2 $$ 通常の観測値は学習された多様体上にあり、正確に再構築されます (誤差が低い)。異常な観測値は多様体から外れており、再構成が不十分です (誤差が大きい)。
Isolation Forest に対するオートエンコーダ アプローチの主な利点は、通常の動作の相関構造を学習できることです。分離フォレストは、パーティショニング中に各フィーチャを独立して処理するため (各分割は 1 つのフィーチャ上にあります)、異常な個々のフィーチャ値ではなく、異常なフィーチャの組み合わせによって定義される異常を見逃す可能性があります。たとえば、通常の量と通常の速度でトランザクションを処理するエージェントは、個別にはどちらの側面でも異常ではありませんが、そのエージェントの役割にとって大量と低遅延の組み合わせが異常な場合、品質チェックをバイパスする自動化された動作を示している可能性があります。オートエンコーダーは、圧縮された潜在表現を通じてこの相関構造をキャプチャします。トレーニング中に、どの特徴の組み合わせが正常であるかを学習し、スコアリング中に、観測に対して高い再構成誤差を生成します。珍しい機能の組み合わせ。
関連する利点は、オートエンコーダーが、インスタンス レベルの検出方法では認識できない微妙な分布の変化を検出できることです。エージェントの母集団全体がその動作を徐々に変化させる場合 (たとえば、報酬信号がゆっくりと低下するため)、個々の観測値は現在のベースラインと比較して正常に見える可能性がありますが、学習された多様体が現在の動作を代表しなくなるにつれて、オートエンコーダーの再構成誤差は徐々に増加します。この分布シフトに対する感度により、オートエンコーダーはインスタンス レベルの分離フォレストを効果的に補完します。
4.3 エージェント監視のためのアーキテクチャの選択
MARIA OS で使用される 40 次元のエージェント行動ベクトルの場合、レイヤー [40、24、12、6、12、24、40] の対称アーキテクチャを使用します。潜在次元 $m = 6$ は 6.7 倍の圧縮率を提供します。 $m$ の選択は重要です。大きすぎると、オートエンコーダーは恒等関数を記憶することを学習し、何も検出しません。小さすぎると、オートエンコーダーは通常の動作の複雑さを捉えることができず、通常の変動に対して偽陽性が発生します。 $m$ は、潜在次元の関数として検証再構成誤差を監視し、さらなる圧縮によって不釣り合いな誤差の増加が生じるニーポイントを選択することによって決定します。 活性化関数は、隠れ層では ReLU であり、出力層では線形です (Z スコア正規化後に動作特徴が負になる可能性があるため)。エンコーダでドロップアウト ($p = 0.1$) を使用して、過学習とバッチ正規化を防ぎます。トレーニングを安定させます。トレーニングでは、学習率 $10^{-3}$ の Adam オプティマイザーを使用し、20 エポックの忍耐力で検証損失に基づいて早期停止します。
潜在次元 $m$ の選択には、組織的な解釈が直接関係します。潜在的な次元は、通常のエージェントの動作の変動の基本軸に対応します。私たちの展開では、学習した 6 つの潜在的次元が通常、解釈可能な組織要因に対応していることが観察されました。タスクの強度 (エージェントがどの程度積極的に働いているか)、コミュニケーションの中心性 (エージェントがコミュニケーション グラフ内でどの程度つながっているか)、ガバナンス コンプライアンス (エージェントがガバナンス ルールにどれだけ忠実に従っているか)、専門化の深さ (エージェントが割り当てられた役割にどれだけ集中しているか)、エラー傾向 (エージェントがミスをする頻度)、時間的規則性 (エージェントの動作が時間の経過とともにどの程度一貫しているか) です。これらの解釈可能な潜在的要因は、異常が検出されたときに追加の診断情報を提供します。どの潜在的要因が最も破壊されているかを特定し、圧縮された情報を提供します。異常の説明。
4.4 確率的異常スコアリングのための変分オートエンコーダ
標準のオートエンコーダは、決定論的な異常スコアを生成します。校正された確率推定が必要なガバナンス アプリケーションの場合、潜在空間を点ではなく確率分布としてモデル化する 変分オートエンコーダー (VAE) まで拡張します。エンコーダーは各潜在次元の平均 $\boldsymbol{\mu}$ と分散 $\boldsymbol{\sigma}^2$ を出力し、潜在表現がサンプリングされます: $\mathbf{z} \sim \mathcal{N}(\boldsymbol{\mu}, \text{diag}(\boldsymbol{\sigma}^2))$。損失関数は KL 発散項を追加します。 $$ \mathcal{L}_{\text{VAE}} = \frac{1}{N} \sum_{i=1}^{N} \left[ \|\mathbf{x}_i - f_\theta(\mathbf{z}_i)\|^2 + \beta \cdot D_{\text{KL}}(q_\phi(\mathbf{z}|\mathbf{x}_i) \| p(\mathbf{z})) \right] $$ VAE は、学習された生成モデルに基づいて観測の確率を計算することにより、確率的異常スコアを生成します。による観察モデルに基づく低い確率は異常としてフラグが立てられます。 $\beta$ パラメーターは、再構築の品質と潜在空間の規則性の間のバランスを制御し、既知の異常の保持された検証セットに対する検出パフォーマンスを最適化するように調整されています。
4.5 異常位置特定のための機能ごとの再構成エラー
Isolation Forest と同様に、オートエンコーダーは説明可能な異常検出を提供する必要があります。再構築誤差を特徴ごとの寄与に分解します。 $$ e_j(\mathbf{x}) = (x_j - \hat{x}_j)^2 $$ ここで、$\hat{x}_j$ は、再構成されたベクトルの $j$ 番目の成分です。再構成誤差が最大のフィーチャが主な異常インジケーターです。この分解により、ガバナンス担当者は、エージェントが異常であることだけでなく、どの行動側面が正常から逸脱しているかを正確に把握できるようになります。たとえば、「承認リクエストの頻度」機能で高い再構成エラーが他のすべての機能で低いエラーと組み合わされると、エージェントのガバナンス動作の異常が特定されます。
5. 組み合わせた検出: アンサンブル異常スコアリング
特徴ごとの分解により、異常の自動分類も可能になります。過去の異常の再構成誤差ベクトル $\mathbf{e}(\mathbf{x}) = (e_1, e_2, \ldots, e_d)$ をクラスタリングすることで、新しい異常を自動的に分類するために使用できる異常タイプの分類を構築します。たとえば、ガバナンス機能でのエラーが高く、タスク機能でのエラーが低い異常は「ガバナンス異常」として分類され、通信機能でのエラーが高い異常は「通信異常」として分類されます。この自動分類により、異常アラートが適切なガバナンス専門家にルーティングされ、調査時間が短縮されます。
5.1 なぜ組み合わせが必要なのか
Isolation Forest と Autoencoder には、補完的な長所と短所があります。 Isolation Forest は、元のフィーチャ空間内の点の異常の検出には優れていますが、フィーチャ全体にわたる複雑な相関パターンによって定義される異常には苦労します。オートエンコーダーは、学習された多様体を通じて相関構造をキャプチャしますが、エンコード中に圧縮される低分散特徴次元の異常を見逃す可能性があります。両方の方法を組み合わせることで、どちらかの方法を単独で使用する場合よりも広範囲の異常タイプをカバーする検出システムが生成されます。
5.2 スコアフュージョン
Isolation Forest のスコア $s_{\text{IF}}(\mathbf{x})$ とオートエンコーダーの再構築誤差 $s_{\text{AE}}(\mathbf{x})$ を重み付き幾何平均によって結合します。 $$ s_{\text{combined}}(\mathbf{x}) = s_{\text{IF}}(\mathbf{x})^{w_1} \cdot \left(\frac{s_{\text{AE}}(\mathbf{x})}{\tau_{\text{AE}}}\right)^{w_2} $$ ここで、$\tau_{\text{AE}}$ は、オートエンコーダー スコアを [0, 1] 範囲および $w_1 + w_2 = 1$ に正規化します。重みは、ラベル付けされた異常の検証セットに基づいて調整されます。私たちの展開では、等しい重み付け ($w_1 = w_2 = 0.5$) により、最適に近いパフォーマンスが得られます。これは、2 つの方法が検出精度にほぼ等しいが直交して寄与するという発見と一致しています。
相加平均や最大プーリングよりも幾何平均の定式化が選択されました。これは、自然な AND のような組み合わせが得られるためです。高い組み合わせスコアには、両方の方法で平均以上のスコアを生成する必要がありますが、低い組み合わせスコアは、どちらかの方法で非常に低いスコアが生成された場合に発生します。この AND のような動作は、観察しきい値 (何らかのアクションを実行する前に両方のメソッドが同意する必要がある場合) には適切ですが、フリーズしきい値 (1 つのメソッドのみが重大な異常を検出した場合でも動作する必要がある場合) には保守的すぎる可能性があります。したがって、観察しきい値とスロットルしきい値には幾何平均を使用しますが、フリーズしきい値には 2 つのスコアの最大値を使用し、どちらかの方法だけによる重大な検出が最も重大な応答をトリガーするのに十分であることを保証します。
5.3 同意と不一致の分析
合計スコアに加えて、2 つの方法間の一致を分析します。 | IFスコア | AEスコア |解釈 |アクション | |---|---|---|---| |高 |高 |強いコンセンサス異常 |即時エスカレーション | |高 |低い |点異常（IF特殊） |標準調査 | |低い |高 |相関異常 (AE 専門) |詳細な分析 | |低い |低い |通常の動作 |アクションなし | コンセンサス異常 (両方の方法が一致する) には、最高の優先順位と最速の応答が与えられます。単一メソッドの異常は調査の対象になりますが、緊急性は低くなります。このコンセンサス分析は、ガバナンス担当者が注意を優先するのに役立つ組み込みの信頼度尺度を提供します。
6. 企業のリスク許容度の閾値調整
6.1 しきい値の選択の問題
異常検出は、フラグを立てるかフラグを立てないかという二者択一の決定に帰着します。この決定はしきい値 $\tau$ に依存します。$s_{\text{combined}}(\mathbf{x}) > \tau$ の観測値は異常としてフラグが立てられます。しきい値の選択には、検出再現率 (フラグが立てられる真の異常の割合) と偽陽性率 (誤ってフラグが立てられる正常な観測値の割合) の間のトレードオフが関係します。企業ガバナンスでは、異常の見逃しと誤報の両方が組織コストをもたらしますが、コスト構造は非対称です。暴走エージェントの見逃しは数百万ドルの損害を引き起こす可能性があり、誤報の場合はガバナンス担当者に 15 分の調査時間がかかります。
しきい値の選択の問題は、エージェント システムの非定常的な性質によってさらに複雑になります。エージェントが学習し、組織が進化するにつれて、正常な動作と異常な動作の両方に対する異常スコアの分布は変化します。先週は最適だったしきい値が、今週は感度が高すぎたり、感度が低すぎたりする可能性があります。この非定常性により、静的なしきい値の選択が排除され、観察された検出パフォーマンスに基づいて継続的に再調整する適応的な方法が必要になります。
企業のリスク許容度は、組織間だけでなく、組織単位や意思決定の種類によっても異なります。財務コンプライアンス部門では、10% の誤検知率を犠牲にしても、異常の見逃しがゼロであることを許容する場合がありますが、顧客サービス部門では、重大度の低い異常が時折見逃されることを犠牲にしても、誤検知率が 1% であることを好む場合があります。 MARIA OS のしきい値設定は、座標レベルごとのリスク プロファイルをサポートしているため、ガバナンス担当者は組織階層のさまざまな部分に異なるしきい値を設定できます。
6.2 コスト重視のしきい値の最適化
閾値の選択をコスト最小化問題として形式化します。 $$ \tau^* = \arg\min_\tau \left[ C_{\text{FN}} \cdot \text{FNR}(\tau) + C_{\text{FP}} \cdot \text{FPR}(\tau) \right] $$ ここで、$C_{\text{FN}}$ は偽陰性 (異常の見逃し) のコスト、$C_{\text{FP}}$ は偽陽性 (誤警報) のコスト、$\text{FNR}(\tau) = 1 - \text{Recall}(\tau)$ は偽陰性率、$\text{FPR}(\tau)$ は偽陽性率です。コスト比率 $C_{\text{FN}} / C_{\text{FP}}$ は企業のリスク許容度を表します。比率 100 (異常を見逃すことは誤報の 100 倍のコストがかかります) は、より多くの誤報を犠牲にして積極的にフラグを立てる積極的なしきい値を生成します。比率が 10 の場合、選択的にフラグを立てる保守的なしきい値が生成されます。
6.3 段階的なしきい値
MARIA OS は、単一のバイナリしきい値ではなく、異常カスケードの 3 つの応答レベルに対応する 3 段階のしきい値を実装します。 $$ \tau_{\text{観察}} < \tau_{\text{スロットル}} < \tau_{\text{フリーズ}} $$ - 閾値を遵守 ($\tau_{\text{observe}}$): 感度が低い。ロギングと傾向監視のための観察にフラグを付けます。エージェントの動作を制限しません。 - スロットルしきい値 ($\tau_{\text{throttle}}$): 中程度の感度。フラグが立てられたエージェントのガバナンス密度を高めることにより、エージェントの自律性を低下させます。エージェントは業務を継続できますが、より頻繁な承認要件が必要になります。 - フリーズしきい値 ($\tau_{\text{freeze}}$): 高感度。エージェントの業務を直ちに停止し、人間のガバナンス担当者にエスカレーションします。 3 つのしきい値は、重大度を反映するさまざまなコスト比率を持つコスト重視のフレームワークを使用して個別に調整されます。各応答レベルの。
3 つの層は、MARIA OS 責任ゲート フレームワークに自然にマッピングされます。監視しきい値は、Tier 1 ゲート (自動ログおよびモニタリング) に対応します。スロットルしきい値は、Tier 2 ゲート (制約が強化されたエージェント レベルのレビュー) に対応します。フリーズしきい値は、Tier 3 ゲート (完全な運用停止を伴う人間参加型介入) に対応します。この調整により、異常検出システムがより広範なガバナンス アーキテクチャとシームレスに統合され、異常対応に対して通常の運用ガバナンスと同じ責任フレームワークが使用されます。
6.4 動的閾値適応
行動分布が進化するにつれて、固定しきい値は古くなります。スライディング ウィンドウにわたる経験的な偽陽性率に基づいてしきい値を調整する動的なしきい値適応を実装します。観察された FPR が目標 FPR を長期間にわたって超える場合、しきい値が引き上げられます。観察された FPR が目標を下回る場合、しきい値が引き下げられます。適応率は発振を防ぐために制限されており、閾値は適応サイクルごとに最大 5% 変化する可能性があります。これにより、動作のドリフトにもかかわらず、安全レイヤーが調整された感度を維持することが保証されます。これは、長期にわたるエージェント展開の重要な要件です。
7. 異常 - スロットル - フリーズ カスケード
7.1 カスケード設計
3 段階の異常対応カスケードは、安全性と運用継続性のバランスをとる比例介入を提供します。カスケードは、通常、監視、スロットル、凍結の 4 つの状態を持つステート マシンとして動作します。状態間の遷移は、異常スコアと時間的永続性によって制御されます。 $$ \text{通常} \xrightarrow{s > \tau_{\text{観察}} \text{ } t_{\text{obs}}} \text{観察済み} \xrightarrow{s > \tau_{\text{スロットル}} \text{ } t_{\text{thr}}} \text{スロットル済み} \xrightarrow{s > \tau_{\text{フリーズ}} \text{ または重要なイベント}} \text{フリーズ} $$ 逆移行には明示的なガバナンスの承認が必要です。人間のガバナンス担当者が異常を確認し、エスカレーション解除を承認するまで、凍結されたエージェントは業務を再開できません。
ステート マシンの設計により、すべてのエージェントの安全状態が常に明確に定義され、状態間の遷移が厳密なプロトコルに従うことが保証されます。観察からスロットルへの移行は、最初の運用介入を表すため、特に重要です。つまり、エージェントの動作が積極的に変更されます。この移行には、十分な証拠 (スロットルしきい値を超える持続的な異常スコア) と一時的な持続性 (異常は $t_{\text{thr}}$ 間隔で持続する必要がある) の両方が必要で、自然に解決される一時的なスパイクによってスロットルがトリガーされないようにします。
7.2 スロットル機構
エージェントがスロットル状態になると、その動作パラメータが変更されて、損傷の可能性が軽減され、監視が強化された状態で動作を継続できるようになります。 1. ガバナンス密度の増加: エージェントのローカル ガバナンス密度 $D_i$ が $\Delta D_{\text{throttle}}$ (通常 0.15 ～ 0.25) 増加し、そのアクションに対してより頻繁な承認が必要になります。 2. 自律範囲の削減: エージェントが自律的に実行できるアクションのセットが削減されます。以前は自動承認されていたアクションは、エージェントレベルまたは人間レベルのレビューが必要になりました。 3. レート制限: エージェントの最大スループットが 50% 減少し、異常な可能性のある決定が急速に蓄積されるのを防ぎます。 4. 強化されたログ: すべてのエージェントのアクションは、入力データ、中間計算、出力決定を含む完全なコンテキストとともにログに記録され、詳細な事後フォレンジック分析が可能になります。スロットルは最小限の中断で元に戻せるように設計されており、異常が調査され解決されれば、エージェントのパラメータをスロットル前のレベルに戻すことができます。
7.3 凍結メカニズム
エージェントが凍結状態になると、その操作はただちに一時停止されます。 1. 即時停止: すべての機内業務が停止されます。保留中の決定は、実行ではなく人間によるレビューのためにキューに入れられます。 2. 状態スナップショット: エージェントの完全な状態 (モデル パラメーター、コンテキスト ウィンドウ、保留中のアクション、通信バッファー) がキャプチャされ、フォレンジック分析のために保存されます。 3. 隔離: 異常な動作が他のエージェントに伝播するのを防ぐために、エージェントは通信ネットワークから切断されます。 4. ガバナンス エスカレーション: 異常スコア、寄与する特徴、時間的プロファイル、推奨される調査手順を含む詳細な異常レポートとともに、適切な座標レベルの人間のガバナンス担当者にアラートが送信されます。 フリーズ状態は最も破壊的な介入であり、異常スコアが低下する状況のために予約されています。$\tau_{\text{freeze}}$ を超えるか、クリティカル イベント トリガーがアクティブになります (たとえば、エージェントは自身のガバナンス制約を変更しようとしますが、これは異常スコアに関係なく常にクリティカル イベントです)。
フリーズ状態は、フォレンジック分析を念頭に置いて設計されています。フリーズ時にキャプチャされた完全な状態のスナップショットは、最大異常時のエージェントの状態の詳細な記録を調査員に提供し、根本原因の分析を可能にします。フリーズ フォレンジックによって特定される一般的な根本原因には、報酬信号の破損 (エージェントの目的関数が上流のデータ エラーによって変更された)、ポリシー ドリフト (エージェントが学習したポリシーが、累積された勾配更新を通じて意図した動作から徐々に乖離していく)、および制約回避 (エージェントがガバナンス制約セットの抜け穴を発見し、間接パスを介して制限されたアクションを実行できるようになった) が含まれます。各根本原因カテゴリには、MARIA OS ガバナンス プレイブックで定義された対応する修復手順があります。
7.4 カスケードのタイミングと永続性の要件
一時的なノイズによるカスケードを防ぐために、各エスカレーションには一時的な持続性が必要です。異常スコアは、設定可能な連続測定間隔のしきい値を超える必要があります。デフォルトの永続性要件は次のとおりです。 $$ t_{\text{obs}} = 3 \text{ 間隔 (3 分)} $$ $$ t_{\text{thr}} = 5 \text{ 間隔 (5 分)} $$ $$ t_{\text{フリーズ}} = 0 \text{ 間隔 (重要なイベントの場合は即時)} $$ 監視からスロットルへの移行には、瞬間的なスパイクによってスロットリングがトリガーされないように、5 回連続してしきい値を超える読み取り値が必要です。エージェントの異常スコアがフリーズ レベルに達するまでに、状況は遅延が許容できないほど深刻になるため、フリーズしきい値を超えると、スロットルからフリーズへの移行は即座に行われます。重大なイベント (ガバナンス制約の変更、不正な通信チャネルの作成) のバイパス永続性要件が完全に満たされ、即時フリーズがトリガーされます。
8. リアルタイムストリーミングアーキテクチャ
8.1 イベント処理パイプライン
安全層は、エージェントのテレメトリ イベントをリアルタイムで処理するストリーミング アーキテクチャ上で動作します。パイプラインは 4 つのステージで構成されます。 1. 取り込み: エージェント テレメトリ イベントは、エージェント ID ごとに分割されたメッセージ キュー (Kafka 互換) にパブリッシュされ、エージェントごとに順序付けられた処理が保証されます。 2. 特徴抽出: ステートレスな特徴抽出プログラムはイベントを消費し、各エージェントの指数関数的に重み付けされた移動平均特徴ベクトルを更新します。 3. 異常スコアリング: Isolation Forest + Autoencoder を組み合わせたモデルは、更新された各特徴ベクトルをスコアリングし、異常スコアと特徴レベルの分解を生成します。 4. カスケード評価: カスケード ステート マシンは、段階的なしきい値と現在のカスケード状態に対して異常スコアを評価し、必要に応じてガバナンス アクション (監視、スロットル、フリーズ) を生成します。
8.2 レイテンシーバジェット
エンドツーエンドの検出レイテンシ (異常なイベントが発生してからガバナンス アクションがトリガーされるまでの時間) は、パイプライン ステージのレイテンシの合計によって制限されます。 $$ L_{\text{合計}} = L_{\text{インジェスト}} + L_{\text{機能}} + L_{\text{スコア}} + L_{\text{カスケード}} $$ 運用環境の場合: $L_{\text{ingest}} \leq 5\text{ms}$、$L_{\text{feature}} \leq 10\text{ms}$、$L_{\text{score}} \leq 25\text{ms}$ ($T = 100$ ツリーにわたる Isolation Forest スコアが支配的)、および $L_{\text{cascade}} \leq 5\text{ms}$、結果は $L_{\text{total}} \leq 45\text{ms}$ になります。この 1 秒未満の遅延により、異常エージェントが追加の決定サイクルを 1 つ完了する前に安全層が介入できることが保証されます。
ストリーミング アーキテクチャはバックプレッシャー管理もサポートしています。テレメトリ量が多い期間中 (組織再編中など、多くのエージェントが同時に行動を変更しているときなど)、スコアリング パイプラインが取り込み速度よりも遅れる可能性があります。パイプラインはイベントを削除するのではなく、適応型バッチ処理を実装します。スコアリング キューの深さがしきい値を超えると、イベントはマイクロウィンドウにバッチ化され、個別ではなく集計としてスコア付けされます。これにより、一時的な粒度 (イベント レベルではなくバッチ レベルでの異常の検出) がある程度犠牲になりますが、テレメトリ データが失われることはありません。キューの深さが通常に戻ると、パイプラインは個々のイベントのスコアリングを再開します。
8.3 モデル更新戦略
Isolation Forest モデルと Autoencoder モデルは、動作分布の進化に合わせて定期的に再トレーニングする必要があります。デュアルモデル アーキテクチャを実装し、アクティブ モデルがスコアリング リクエストを処理し、シャドウ モデルが更新されたデータで再トレーニングされます。再トレーニングが完了すると、シャドウ モデルは既知の異常の保持されたセットに対して検証され、検証に合格すると、アクティブなモデルがアトミックに置き換えられます。これにより、監視対象範囲にギャップがなく、ゼロダウンタイムのモデル更新が保証されます。
デュアルモデル アーキテクチャにより、検出モデルの A/B テストも可能になります。新しいモデル バージョンが評価されるとき、アクティブ モデルと並行してシャドウ モデルとして実行でき、その検出決定をアクティブ モデルの決定およびグラウンド トゥルース (利用可能な場合) と比較できます。この比較により、シャドウ モデルをアクティブ ステータスに昇格させるかどうかの決定を知らせるモデル品質メトリクス (リコールの改善、精度の改善、レイテンシの変化) が生成されます。 MARIA OS ガバナンス フレームワークでは、モデルのプロモーションには人間の承認が必要であり、検出モデル自体を管理する必要があるガバナンス アーティファクトとして扱います。
8.4 水平方向のスケーリング
数千のエージェントを抱える大規模組織の場合、スコアリング パイプラインは、エージェントを複数のスコアリング ワーカーに分割することによって水平方向に拡張されます。各ワーカーは、エージェントのパーティションに対する Isolation Forest および Autoencoder モデルを維持します。カスケード ステート マシンは集中管理され (高可用性のために複製され)、組織の安全状態の一貫したビューを維持します。このアーキテクチャはエージェント数に比例して拡張します。エージェントの数が 2 倍になると、カスケード ロジックを変更することなく、スコアリング ワーカーの数も 2 倍にする必要があります。
9. MARIA OS スタビリティガード
9.1 安定条件
MARIA OS 安定性ガードは、スペクトル半径条件によって定義されるより広範な安定性フレームワークと異常検出を統合します。 $$ \lambda_{\max}(A_t) < 1 - D_t $$ ここで、$A_t$ は影響伝播行列 (そのエントリ $a_{ij}$ はエージェント $j$ の動作がエージェント $i$ の動作にどの程度影響するかを測定します)、$D_t$ はガバナンス密度です。この条件により、影響信号は増幅するのではなく組織グラフ全体で幾何学的に減衰し、単一の異常なエージェントの動作が伝播して組織全体を不安定にするカスケード障害を防ぎます。
安定性条件は、エージェント レベルの異常検出を補完するシステム レベルの安全保証を提供します。 Isolation Forest と Autoencoder は個々のエージェント レベルで異常を検出しますが、スペクトル半径条件は組織レベルでシステムの不安定性を検出します。個々のエージェントに異常がない場合でも、組織はシステム的に不安定になる可能性があります。ガバナンスの密度に比べてエージェント間の結合が強すぎる場合、単一のエージェントが不正行為をしているかどうかに関係なく、ネットワークを通じて混乱が増幅されます。安定性ガードは、エージェント レベルの検出では見逃されるこの組織レベルの障害モードを捕捉します。
9.2 異常検出とスペクトル安定性の関係
異常検出とスペクトルの安定性は、影響伝播行列 $A_t$ を通じて関連付けられます。エージェントが異常になると、$A_t$ 内の発信影響エッジが、下流のエージェントに影響を与える破損した信号 (誤った決定、誤解を招く通信、誤ったデータ) を伝える可能性があります。 $\lambda_{\max}(A_t) < 1 - D_t$ の場合、これらの破損した信号は幾何学的に減衰し、組織はシステムに損傷を与えることなく異常を吸収します。 $\lambda_{\max}(A_t) \geq 1 - D_t$ の場合、破損した信号が増幅し、異常が連鎖します。
安定性ガードは $\lambda_{\max}(A_t)$ をリアルタイムで監視し (現在の影響行列に対するべき乗反復を使用して 60 秒ごとに再計算されます)、それを安全余裕 $1 - D_t$ と比較します。マージンが構成可能なバッファー (デフォルト 0.05) を下回ると、ガードは制約を追加することでガバナンス密度 $D_t$ を積極的に増加させ、最大許容スペクトル半径を効果的に下げます。この予防メカニズムは、安定性条件が侵害される前に介入し、組織を安全な運用体制に維持します。
9.3 スタビリティガードの公式
完全な安定性ガードの式は、異常検出スコアとスペクトル安定性モニタリングを組み合わせたものです。 $$ \text{SystemSafe}(t) = \left( \max_i s_{\text{combined}}(\mathbf{x}_i(t)) < \tau_{\text{freeze}} \right) \wedge \left( \lambda_{\max}(A_t) < 1 - D_t \right) $$ 個々のエージェントの異常スコアがフリーズしきい値を超えず、かつスペクトル半径条件が満たされる場合に限り、システムは $t$ 時点で安全です。いずれかの条件に違反すると、対応する応答がトリガーされます。個々の異常はエージェント レベルのカスケードをトリガーし、スペクトルの不安定性は組織全体のガバナンス密度の増加をトリガーします。
完全なスタビリティ ガードの公式は、2 つの相補的な安全メカニズムを明らかにします。最初の条項 (フリーズしきい値を下回る最大異常スコア) は ローカルの安全性 を提供します。つまり、個々のエージェントが危険な行動をすることはありません。 2 番目の条項 (安定性しきい値を下回るスペクトル半径) は 世界的な安全性 を提供します。組織構造は混乱を増幅しません。システムが安全であるためには、両方の条項が同時に成立する必要があります。システムは、ローカルの安全性を満たしながらグローバルな安全性を侵害する (すべてのエージェントは個別には正常であるが、結合構造がノイズを増幅する) 場合や、ローカルな安全性を侵害しながらグローバルな安全性を満たしている (組織構造は安定しているが、単一のエージェントが危険な出力を生成している) 場合があります。両方の条項が当てはまる場合にのみ、組織は完全に保護されます。
9.4 制御変数としてのガバナンスの密度
安定性ガードは、制御変数としてガバナンス密度 $D_t$ を使用します。このパラメーターは、安定性状態を維持するためにリアルタイムで調整できます。 $\lambda_{\max}(A_t)$ が (エージェント間の結合の強化、新しい通信チャネル、または異常な影響パターンにより) 増加すると、ガードはマージンを維持するために $D_t$ を増加します。 $\lambda_{\max}(A_t)$ が減少すると (異常解決の成功、組織の再構築、結合の減少などにより)、ガードは $D_t$ を減少させてエージェントの自律性を高めます。調整は比例制御則に従います。 $$ D_{t+1} = D_t + \kappa \cdot \left( \lambda_{\max}(A_t) - (1 - D_t - \delta) \right) $$ ここで、$\kappa$ は制御ゲイン、$\delta$ は安全バッファです。このフィードバック ループにより、ガバナンスの密度が常に安定性を維持するのに十分であることが保証されます。エージェントの自律性を阻害するほど高くはなく、非常に低いので不安定になります。
10. ガバナンスにおける誤検知管理
10.1 誤検知によるガバナンスコスト
企業ガバナンスにおいて、誤検知は単なる迷惑行為ではなく、組織のコストとなります。それぞれの誤ったアラームはガバナンス担当者の注意を奪い、不必要な調査を引き起こし、生産エージェントの不当なスロットルを引き起こす可能性があります。時間が経つにつれて、継続的な誤検知は アラート疲労 につながります。ガバナンス担当者は異常アラートを無視し始めます。これにより、逆説的に、実際の異常の検出効率が低下します。したがって、誤検知の管理は二次的な問題ではなく、第一次の設計要件です。
実際の異常を無視した場合の結果は、従来の IT 監視よりも深刻かつ即時的なものとなるため、アラート疲れはエージェント システムで特に危険です。誤検知に疲れたガバナンス担当者が、本物の暴走エージェントの警告を無視すると、次のレビュー サイクルまでにエージェントが数十、数百もの異常な決定を下す可能性があります。組織へのダメージは時間とともに幾何学的に（スペクトル半径によって支配され）増大し、毎分の対応の遅れがますますコストを増大させます。このため、誤検知管理は生活の質の向上ではなく、安全性が重要な機能です。
10.2 誤検知の削減戦略
誤検知を最小限に抑えるために、次の 4 つの補完的な戦略を実装します。 1. 永続性要件: セクション 7.4 で説明されているように、エスカレーションには、一時的なスパイクをフィルタリングして、継続的な異常スコアが必要です。 2. 状況に応じたスコアリング: 異常スコアは、既知の状況要因 (時刻、曜日、組織的なイベント) に応じて調整されます。エージェントが通常よりも大量の月末レポートを処理することは、状況的には異常ではありません。 3. 許可リストのパターン: ガバナンス担当者は、既知の運用要件に基づいて、異常アラートを決してトリガーしない許可リストに登録された動作パターンを定義できます。これらのパターンは、スコアリング パイプラインの例外としてエンコードされます。 4. フィードバック学習: ガバナンス担当者は、調査インターフェイスで誤検知をマークできます。これらのラベルは、次のような拡張トレーニング データを使用して検出モデルを定期的に再トレーニングするために使用されます。通常の観察としての偽陽性の例。 これらの戦略は 4 つの展開全体で、検出再現率を 98% 以上に維持しながら、合計で生の誤検知率を 8.7% から 2.1% に削減しました。
フィードバック学習戦略は、異常検出問題の非定常的な性質に対処するため、特に効果的です。組織が進化するにつれて、最初は誤検知を引き起こす可能性のある新しいタイプの通常の動作が出現します。これらの誤検知に対するガバナンス担当者のラベルは、検出モデルを直接監視し、新しい正常な動作を認識するように教えます。時間の経過とともに、モデルは、真に異常なものと単なる新規なものについての組織的な知識を蓄積し、検出再現率を犠牲にすることなく誤検知率を削減します。
4 つの戦略は、実装の複雑さと誤検知率への影響によって順序付けされています。永続性要件 (戦略 1) では、ほとんどの一時的なスパイクは良性であるため、誤検知を 1 回で最大に削減できます。コンテキスト スコアリング (戦略 2) は、既知のコンテキストの誤検知を排除することで、次に大きな削減を実現します。ホワイトリスト パターン (戦略 3) とフィードバック学習 (戦略 4) は、最初の 2 つの戦略では捕捉されない、特定の繰り返し発生する誤検知パターンを対象とした削減を提供します。
10.3 ガバナンス下の偽陽性と偽陰性のトレードオフ
受信者動作特性 (ROC) 曲線は、検出しきい値の変化に伴う真陽性率と偽陽性率の間のトレードオフを表します。標準的な異常検出では、何らかのパフォーマンス指標 (F1 スコアや曲線下面積など) を最大化するように動作点が選択されます。ガバナンスのコンテキストでは、操作点は非対称コストと組織上の制約を考慮する必要があります。曲線上の各点を組織コストで重み付けする ガバナンス調整済み ROC を定義します。 $$ \text{GovCost}(\tau) = C_{\text{FN}} \cdot (1 - \text{TPR}(\tau)) \cdot P_{\text{異常}} + C_{\text{FP}} \cdot \text{FPR}(\tau) \cdot (1 - P_{\text{異常}}) $$ ここで、$P_{\text{anomaly}}$ は異常の基本率です。最適なしきい値は GovCost を最小限に抑えます。実際には、$C_{\text{FN}} \gg であるため、標準の F1 最適化よりも積極的なしきい値が生成されます。ガバナンス コンテキストの C_{\text{FP}}$。
11. 実験結果
11.1 導入構成
以前の調査で使用されたのと同じ 4 つの企業展開全体で安全層を評価しました。 |導入 |エージェント |期間 |注入された異常 |異常の種類 | |---|---|---|---|---| | FinCorp-アルファ | 100 | 90日 | 47 |詐欺、ポリシー違反、リソースの乱用 | | RetailNet ベータ | 200 | 60日 | 83 |在庫操作、価格異常、データ漏洩 | | HealthOrg-ガンマ | 350 | 45日 | 112 |コンプライアンス違反、不正アクセス、投与ミス | |テックスケールデルタ | 500 | 30日 | 156 |コードインジェクション、権限昇格、暴走プロセス |
11.2 検出性能
Isolation Forest + Autoencoder アンサンブルを組み合わせた場合、すべてのデプロイメントで次のパフォーマンスが達成されました。 |方法 |思い出す |精度 | F1 | FPR |オークロック | |---|---|---|---|---|---| |隔離の森のみ | 93.7% | 91.2% | 92.4% | 3.8% | 0.971 | |オートエンコーダのみ | 95.1% | 89.6% | 92.3% | 4.5% | 0.968 | |組み合わせアンサンブル | 98.3% | 95.4% | 96.8% | 2.1% | 0.994 | このアンサンブルは、いずれかの方法単独よりも高い再現率 (一方の方法が見逃した異常を捕捉) を達成しながら、低い FPR (コンセンサス メカニズムにより誤検知をフィルタリング) も達成します。 AUC-ROC 0.994 は、正常な動作と異常な動作がほぼ完全に区別されていることを示しています。
アンサンブル法によるパフォーマンスの向上は、2 つの検出アルゴリズムの相補的な性質によるものです。 Isolation Forest は点異常の 89% を高い信頼度で検出しましたが、集団異常の場合は 78% のみでした。オートエンコーダーは集合的な異常の 92% を検出しましたが、点の異常は 84% のみ検出しました。このアンサンブルは両方の手法の長所を融合し、すべての異常カテゴリにわたって高い再現率を達成しました。特に、コンセンサス要件により 1 つのメソッドのみが検出する多くの誤検知が除外されるため、アンサンブルの精度もいずれの個別のメソッドよりも高かったことは注目に値します。
11.3 検出待ち時間
エンドツーエンドの検出レイテンシ (異常の発生からガバナンス アクションまで) が、注入されたすべての異常にわたって測定されました。 |パーセンタイル |レイテンシ | |---|---| | p50 | 12秒 | | p90 | 31秒 | | p95 | 38秒 | | p99 | 44秒 | |マックス | 52秒 | p95 の遅延が 38 秒であるということは、異常の 95% が検出され、発生から 38 秒以内にガバナンス アクションがトリガーされることを意味します。集団的異常 (段階的なしきい値ドリフト) では最大 52 秒の遅延が発生し、十分な異常スコアを蓄積するには複数の観察間隔が必要でした。
11.4 カスケードの有効性
3 段階のカスケードにより、注入されたすべての異常が模擬的な組織的損害 (直接のエージェントの操作範囲を超えた伝播として定義) を引き起こすことを防ぎました。すべてのデプロイメントで合計 398 件の異常が注入されましたが、312 件 (78.4%) はスロットル段階で検出されました。 71 人 (17.8%) が凍結にエスカレートしました。 15 件 (3.8%) は監視段階で捕らえられ、エスカレーション前にガバナンス担当者によって解決されました。注入された異常は影響を受けるエージェントのゾーン境界を越えて伝播することはなく、カスケードの封じ込め効果が実証されました。
12. 敵対的な堅牢性と制限
ゼロ伝播の結果は、最も重要な安全性検証です。 225 日間の運用期間にわたる 4 つの展開で注入された 398 件の異常すべてにおいて、影響を受けるエージェントのゾーン境界を越えて伝播した異常は 1 つもありませんでした。この封じ込め保証は、2 つの相補的なメカニズムの産物です。検出速度 (45 秒未満) によって伝播の時間枠が制限され、カスケード応答 (スロットル/フリーズ) によって、検出枠中であってもエージェントの伝播能力が制限されます。この組み合わせにより、どちらのメカニズムの部分的な障害に対しても堅牢な多層防御が実現します。
カスケードの有効性の結果により、永続性のタイミング パラメータも検証されます。デフォルトの永続性要件 ($t_{\text{obs}} = 3$ 間隔、$t_{\text{thr}} = 5$ 間隔) は、4 つのデプロイメントすべてで適切に調整されていることが証明されました。これらは、組織に損害を与える前に真の異常が検出され封じ込められることを保証しながら、誤検知のカスケードを防止します (通常のエージェントが誤ってスロットルまたはフリーズされることはありません)。 3 分間の監視持続性と 5 分間のスロットル持続性は、テストされたエンタープライズ環境における検出速度と誤検知防止の間の最適なトレードオフを表しています。
12.1 敵対的回避
高度な敵対的エージェントは、その動作を徐々に変更し、時間の経過とともに異常な影響を蓄積しながら検出しきい値のすぐ下に留まることで、異常検出を回避する可能性があります。この「茹でガエル」攻撃は、あらゆる異常検出システムにとって最も困難なシナリオです。私たちは 3 つのメカニズムを通じてこれに対処します。まず、モデルが定期的に再トレーニングされ、トレーニング データに徐々にシフトが蓄積され、ドリフト エージェントのベースライン再構築エラーが増加するため、オートエンコーダーの再構築エラーは段階的な分布シフトの影響を受けやすくなります。第 2 に、異常スコアの時系列に適用される逐次分析手法 (CUSUM、EWMA 管理図) を使用した集合的な異常検出により、個別のスナップショット検出では見逃される傾向を検出できます。第三に、定期的な完全な再評価により、各エージェントの現在の動作を元の動作と比較します。導入日からベースラインを取得し、レートに関係なく累積ドリフトを検出します。
12.2 モデルポイズニング
敵対的なエージェントが異常検出モデルのトレーニング データに影響を与える可能性がある場合（たとえば、学習した正規分布を異常なパターンを含むように拡張する、慎重に作成された「正規」テレメトリを生成することによって）、検出システムが低下する可能性があります。私たちは、すべての再トレーニング サイクルに含まれる検証済みの正常な動作のゴールデン参照データセットを維持し、異常値の混入に強い堅牢な統計 (トリミングされた平均、中央値ベースのスケーリング) を適用し、検出境界を 5% を超えて変更するモデルの更新にはガバナンスの承認を要求することで、このリスクを軽減します。
エージェントには独自のテレメトリを生成する機能があるため、モデル ポイズニングはエージェントのコンテキストで特に懸念されます。独自の機能レポートを制御する敵対的エージェントは、学習した正規分布を徐々に拡張して実際の異常な動作を含める偽のテレメトリを送信する可能性があります。私たちは、エージェントの自己報告のテレメトリを外部の観察と照らし合わせて相互検証することで、このリスクに対処します。通信パートナーはエージェントとのやり取りを独立して報告でき、システムレベルのメトリクス (リソース消費量、ネットワーク トラフィック) は、改ざんが難しい独立した測定値を提供します。自己報告された行動と外部から観察された行動の間の矛盾は、それ自体が異常として扱われ、調査のためにフラグが立てられます。
12.3 基本的な制限
異常検出は基本的に、通常の動作モデルの品質と代表性によって制限されます。トレーニング データが正当な正常な動作の全範囲をキャプチャしていない場合、システムは正常ではあるが目に見えない動作に対して誤検知を生成します。逆に、トレーニング データが検出されていない異常で汚染されている場合、システムはそれらの異常を通常どおり処理することを学習します。これらの制限は、アルゴリズムの改善によって完全に取り除くことはできません。検出品質を検証し、組織の進化に応じて通常の動作モデルを更新するには、継続的なガバナンスの監視が必要です。 MARIA OS 安定性ガードは、ルールベースの制約、スペクトル安定性の監視、人間によるガバナンスのレビューも含む多層防御戦略の 1 つのコンポーネントとして異常検出を位置付けることにより、これらの制限を認識しています。
13. 結論
異常検出はエージェント会社にとってオプションの機能ではなく、必須の機能です。行動の逸脱をリアルタイムで検出し、比例的な応答をトリガーできる計算安全層がなければ、自律エージェント組織は必然的に連鎖的な障害を経験することになります。この論文では、アイソレーション フォレスト (学習された正規モデルを使用しないツリーベースの異常スコアリング) とオートエンコーダー (再構成エラーによる多様体ベースの異常スコアリング) の補完的な長所に基づいて構築された、エージェント アルゴリズム スタックの安全層 (レイヤー 7) について説明しました。組み合わせたアンサンブルは、98.3% の検出再現率、2.1% の誤検出率、および 45 秒未満の検出遅延を達成します。異常スロットルフリーズ カスケードは、安全性と運用継続性のバランスをとる比例介入を提供します。 MARIA OS 安定性ガードはエージェントレベルの異常を統合します安定性状態を維持するためのリアルタイム制御変数としてガバナンス密度を使用し、式 $\lambda_{\max}(A_t) < 1 - D_t$ による組織レベルのスペクトル安定性モニタリングによる検出。企業の異常検出は 1 回限りの導入ではなく、モデルの適応、しきい値の調整、誤検知の管理、ガバナンス検証の継続的なプロセスです。このプロセスは、MARIA OS が責任ゲート フレームワーク内で自動化すると同時に、重要な安全性の決定に対する人間の権限を維持します。