部分観測下の知識グラフ補完: 企業統治グラフにおける欠損責任エッジ予測

要旨

企業ガバナンスのナレッジ グラフは構造的に不完全です。すべての責任のつながりが文書化されているわけではありません。すべての決定の依存関係が記録されるわけではありません。すべてのゾーンを越えたコラボレーションが正式な監査証跡に記録されるわけではありません。これらの欠けているエッジはランダムではなく、組織の力学、非公式のプロセス、文書のギャップによって引き起こされる体系的なパターンに従います。不完全さは単に不便なだけではありません。それはガバナンスリスクです。責任エッジが欠落しているということは、追跡可能な説明責任のリンクなしで意思決定が行われたこと、コンプライアンス クエリによって不完全な監査証跡が返されたこと、またはリスクの伝播経路がガバナンス システムから見えなくなったことを意味します。この論文では、部分可観測性の下でエンタープライズ ガバナンス ナレッジ グラフにおける責任エッジの欠落を予測する問題を取り上げます。ガバナンス知識グラフをバイナリ 3 方向テンソルとして形式化します。X in {0,1}^{n x n x r} ここで、n はエンティティの数、r はリレーション タイプの数です。観察された X のエントリは、文書化されたエッジに対応します。観察されないエントリは、真の欠落エッジ (実際に存在する文書化されていない関係) または真の不在 (本当に存在しない関係) のいずれかである可能性があります。 CP (CANDECOMP/PARAFAC) テンソル分解を適用して、部分的に観測されたテンソルを低ランクの成分に因数分解し、未観測のエントリがエッジの欠落の可能性を予測する完成したテンソル X_hat を生成します。予測精度の理論的限界を可観測率 rho (観測されるエッジの割合) の関数として導き出し、精度が 1 - O((1 - rho) / sqrt(k)) でスケールされることを示します。ここで、k はテンソル ランクです。 MARIA OS ガバナンス グラフの可観測性率 50% ～ 90% での実験により、CP 分解を使用してこれらの境界が検証されます。rho = 0.7 で保留されたエッジの 84.2% を回復しました (行列因数分解のベースラインを 12.3 パーセントポイント上回りました)。本番展開では、このモデルにより、これまで文書化されていなかった責任のギャップが 31 個特定され、そのうち 27 個がドメインの専門家によって真のミッシングリンクであることが確認されました。

1. はじめに

40 のゾーンにわたって動作する 200 のエージェントがおり、8 つの関係タイプ (proposed_by、approved_by、escalated_to、references、constrained_by、depends_on、co_participated、delegated_to) を持つ 15 カテゴリの意思決定を処理する企業を考えてみましょう。完全なガバナンス ナレッジ グラフには、最大 200 200 8 = 320,000 の可能なエッジが含まれます。実際には、監査証跡はこれらの一部を記録します。正式な承認は細心の注意を払って記録されますが、非公式の協議、暗黙の委任、および文書化されていない依存関係は記録されません。複数の企業にわたる MARIA OS 導入の分析では、ナレッジ グラフにキャプチャされた実際の関係の割合である可観測率が、組織の文書化文化と関係の種類に応じて 55% から 85% の範囲であることが明らかになりました。

不完全性は関係タイプ間で均一ではありません。正式なトランザクション エッジ (proposed_by、approved_by) は、MARIA OS デシジョン パイプラインによって自動的に生成されるため、95% を超える可観測性率を持っています。非公式のリレーショナル エッジ (co_participated、delegated_to) の可観測性率は 40% ～ 70% です。これは、自発的な報告または共起パターンからの推論に依存しているためです。構造エッジ (depends_on、constrained_by) は、決定メタデータに部分的に文書化されていますが、ゾーン間の依存関係については不完全であることが多いため、60% ～ 80% の中間可観測性率を持っています。

これらのギャップはガバナンスに具体的な影響を及ぼします。コンプライアンス監査人が意思決定の承認チェーンをたどってギャップに遭遇した場合、そのギャップが真のプロセスの失敗（必要な承認がスキップされた）を表しているのか、それとも文書化の失敗（付与されたが記録されていない承認）を表しているのかを判断できません。この区別は重要です。前者はコンプライアンス違反です。後者は運用の非効率です。どのギャップが文書化の失敗なのか、プロセスの失敗なのかを予測する能力がなければ、監査人はすべてのギャップを手動で調査する必要があり、このプロセスは組織の複雑さに合わせて拡張することが困難です。

ナレッジ グラフ補完は、どの未観察のエッジが真の欠落関係を表す可能性が高いかを予測することで、この問題に対処します。予測により、優先順位の高い調査が可能になります。信頼性の高い予測されたエッジは文書化に失敗している可能性が高く、迅速に検証できます。信頼性の低い観察されていないエッジは、真の不在である可能性が高く、調査する必要はありません。この優先順位付けにより、大規模なガバナンス グラフの監査調査時間を大幅に短縮できます。

2. 問題の形式化

2.1 ガバナンスナレッジグラフのテンソル表現

ガバナンス知識グラフを、{0, 1}^{n x n x r} のバイナリ 3 方向テンソル X として表します。ここで、エンティティ i からエンティティ j への関係タイプ k のエッジが存在する場合に限り、(i, j, k) エントリ X_{ijk} = 1 となります。テンソルには、先頭エンティティ (モード 1)、末尾エンティティ (モード 2)、および関係タイプ (モード 3) の 3 つのモードがあります。この表現は、同じエンティティ ペア (i, j) が複数の関係タイプによって接続される可能性があるマルチリレーショナル ナレッジ グラフを自然にエンコードします。

2.2 部分可観測性モデル

{0, 1}^{n x n x r} のバイナリ マスク テンソル Omega を使用して部分可観測性をモデル化します。ここで、エントリ (i, j, k) が観測される場合は Omega_{ijk} = 1、観測されない場合は Omega_{ijk} = 0 となります。観測率は rho = |{(i,j,k) : Omega_{ijk} = 1}| です。 / (n^2 * r)。観測されたテンソルは X_obs = X circ Omega (アダマール積) であり、観測されたエントリのみが含まれます。

重要なのは、次の 2 種類の未観察エントリを区別することです。

• 真陽性 (TP): X_{ijk} = 1、ただし Omega_{ijk} = 0。これらは実際に存在する関係ですが、文書化されていません。これらは、予測したい欠落エッジです。
• 真陰性 (TN): X_{ijk} = 0 および Omega_{ijk} = 0。これらは、実際には存在しない関係です。これらはエッジとして予測されるべきではありません。

課題は、定義上、観測されていないエントリの中で TP と TN を直接区別できないことです。テンソル補完アルゴリズムは、観察されたエントリの構造パターンからこの区別を推測する必要があります。

2.3 問題の記述

観測されたテンソル X_obs とマスク Omega が与えられた場合、次のような [0, 1]^{n x n x r} の完成テンソル X_hat を見つけます: (1) X_hat は観測されたエントリの X_obs と一致します: X_hat_{ijk} = X_{ijk} for all (i, j, k) where Omega_{ijk} = 1. (2) 観測されていないエントリの場合、 X_hat_{ijk} は、真の (未知の) 値 X_{ijk} を近似します。補完の品質は、観測されていないエントリの予測精度によって測定されます。 Acc = |{(i,j,k) : Omega_{ijk} = 0 およびround(X_hat_{ijk}) = X_{ijk}}| / |{(i,j,k) : Omega_{ijk} = 0}|。

3. ガバナンスグラフを完成させるための CP テンソル分解

3.1 CP 分解の定義

CP 分解は、テンソルをランク 1 テンソルの合計に因数分解します。 R^{n x n x r} の 3 方向テンソル X の場合、ランク k の CP 分解は次のようになります。

ここで、R^n の u_s、R^n の v_s、および R^r の w_s は s 番目の成分の因子ベクトルであり、円×記号は外積を表します。コンポーネント形式: X_hat_{ijk} = Sum_{s=1}^{k} u_{is} v_{js} w_{ks}。因子行列は次のとおりです。 U = [u_1 | ... | u_k] R^{n x k} (ヘッド エンティティ係数)、V = [v_1 | ... | v_k] R^{n x k} (テールエンティティ因子)、および W = [w_1 | ... | w_k] R^{r x k} (関係因子)。

3.2 ガバナンスの文脈における解釈

各コンポーネント s = 1, ..., k は、潜在的なガバナンス パターンを捉えます。頭部因子ベクトル u_s は、パターン s の潜在的なソースとして各エンティティにスコアを割り当てます。テールファクターベクトル v_s は、パターン s の潜在的なターゲットとして各エンティティにスコアを割り当てます。関係因子ベクトル w_s は、パターン s への各関係タイプの参加にスコアを割り当てます。 X_hat_{ijk} = Sum_s u_{is} v_{js} w_{ks} の大きな値は、エンティティ i と j が関係タイプ k を含む複数のガバナンス パターンにわたって強く関連付けられていることを示します。

たとえば、あるコンポーネントは、「運用ゾーン内の上級エージェントが、同じゾーン内のジュニア エージェントによって提案された決定を承認する」パターンをキャプチャする場合があります (シニア エージェントの u スコアが高く、ジュニア エージェントの v スコアが高く、approved_by 関係の w スコアが高い)。別のコンポーネントは、「クロスゾーンの決定には惑星レベルの当局へのエスカレーションが含まれる」(ゾーンレベルの決定では高い u スコア、惑星レベルのエージェントでは高い v スコア、escalated_to 関係では高い w スコア) をキャプチャする可能性があります。

3.3 交互最小二乗法による最適化

観測されたエントリの再構成誤差を最小限に抑えることで、CP 分解を部分的に観測されたテンソルに適合させます。

ここで、lambda は、観察されたエントリへの過剰適合を防ぐ正則化パラメータです。この最適化を交互最小二乗法 (ALS) を使用して解決します。V と W を修正し、U を解決します (線形最小二乗問題)。 U と W を修正し、V を解決します。 U と V を修正し、W を解決します。各部分問題には閉形式の解があり、アルゴリズムは収束するまで反復されます。正則化を使用すると、各副問題は解 U <- (Z^T Z + ラムダ I)^{-1} Z^T y を持つリッジ回帰になります。ここで、Z と y は観測されたエントリと固定因子から構築されます。

3.4 ランクの選択

テンソル ランク k は、分解の表現力を制御します。ランクが低すぎると適合が不十分となり、真のガバナンス パターンが失われます。ランクが高すぎるとオーバーフィットが発生し、観察されたエントリ内のノイズが記憶され、偽のエッジが予測されます。相互検証によって k を選択します。観察されたエントリの 10% を保持し、{10, 20, 30, 40, 50, 60, 80, 100} の k の CP 分解を当てはめ、保持されたエントリの再構成誤差を最小限に抑える k を選択します。

MARIA OS ガバナンス テンソルでは、最適なランクは一貫して k = 48 (さまざまなデプロイメントにわたって 40 ～ 55 の範囲内) です。これは、企業のガバナンス グラフが約 50 の潜在的な構造パターンによって支配されていることを示唆しています。これは、階層的な権限パターン、ドメイン固有のワークフロー、ゾーンを越えたコラボレーション パターン、および組織の意思決定を特徴付ける一時的な意思決定シーケンスの組み合わせを考慮すると、妥当な数です。

4. 部分可観測性における理論的精度限界

4.1 主定理

CP テンソルの完成の予測精度について、可観測率 rho とテンソル ランク k の関数として次の限界を確立します。

定理 1 (精度制限)。 {0,1}^{n x n x r} の X を真の CP ランク k を持つガバナンス テンソルとする。 X_hat を、観測可能率 rho でマスク Omega の下で観測されたエントリに適合させたランク k の CP 分解とします。 (i) 観察されたエントリは、X の非ゼロのエントリから均一にランダムにサンプリングされます。 (ii) k >= k (モデルのランクは少なくとも真のランクと同じくらい大きい)。 (iii) 因子行列は、有界条件数 kappa(U)、kappa(V)、kappa(W) <= kappa_max を持ちます。この場合、観測されていないエントリの予測精度は次の条件を満たします。

ここで、C は、n、r、k、および rho から独立した普遍定数です。

4.2 解釈

境界にはいくつかの直感的なプロパティがあります。まず、精度は可観測率 rho とともに向上します。つまり、より多くの観測データは、より良い予測を意味します。中程度の rho 値 (0.5 ～ 0.9) では、依存関係はほぼ線形であり、追加の観察エッジごとにほぼ等しい周辺情報が提供されるという直観と一致します。第 2 に、精度はテンソル ランク k とともに向上します (最大 k = k)。ランクの高いモデルはより多くのガバナンス パターンを捕捉し、より適切な予測を行います。 k = k を超えて、k を増加しても境界は改善されません (境界が捕捉しないオーバーフィッティングにより境界が悪化する可能性があります)。第三に、グラフ サイズ n が大きくなるにつれて精度が向上します。ガバナンス グラフが大きくなると、CP 分解で利用できる構造的規則性がより多く含まれます。

4.3 結合の強さ

さまざまな可観測率での経験的精度と比較することで、理論的限界の厳しさを評価します。境界は、MARIA OS ガバナンス テンソルからの推定値 kappa_max = 12.4 および k* = 48 を使用して計算されます。

経験的精度は理論的な下限を常に 2.2% ～ 4.1% 上回っており、この範囲がかなり厳しいことを示しています。可観測性率が高くなるとギャップはわずかに増加し、可観測性が高い領域では境界の rho への依存性がわずかに保守的であることを示唆しています。

5. 予測された欠落エッジの分類

5.1 信頼度の閾値設定

完成したテンソル X_hat は、未観測のエントリごとに [0, 1] の連続予測スコア X_hat_{ijk} を生成します。これらの予測を欠落エッジの可能性と真の欠落の可能性とに分類するために、しきい値 tau_p を適用します。X_hat_{ijk} >= tau_p のエントリは欠落エッジとして予測されます。以下のエントリは真の欠席として予測されます。しきい値 tau_p は、適合率と再現率のトレードオフを制御します。

5.2 ガバナンス固有のしきい値の選択

ガバナンスのコンテキストでは、偽陽性 (存在しないエッジを予測し、不必要な調査につながる) と偽陰性 (文書化されていない真のエッジを見逃し、ガバナンスのギャップが検出されないままにする) のコストは非対称です。コストに敏感なしきい値を使用して、この非対称性を形式化します。

ここで、c_FP と c_FN はそれぞれ偽陽性と偽陰性のコストです。コンプライアンスとクリティカルな関係 (approved_by、constrained_by) については、真のガバナンス ギャップを見逃すことによる高いコストを反映して、c_FN / c_FP = 5 を設定しました。運用関係 (co_participated、delegated_to) については、よりバランスの取れたコスト構造を反映して、c_FN / c_FP = 2 を設定します。これにより、コンプライアンスが重要な関係についてはより低いしきい値 (より高い再現率) が生成され、運用上の関係についてはより高いしきい値 (より高い精度) が生成されます。

5.3 関係タイプ固有のパフォーマンス

予測精度は関係タイプによって大きく異なり、構造規則性と可観測性率の違いを反映しています。

可観測性の高い正式なトランザクション エッジ (proposed_by、approved_by) は、その構造パターンが観測データによってよく捕捉されているため、高い精度と再現率で予測されます。可観測性の低い非公式エッジ (co_participated、delegated_to) は、その構造パターンを学習するために利用できる観測データが少ないため、予測精度が低くなります。それにもかかわらず、最もパフォーマンスの低いリレーション タイプ (delegated_to) でさえ F1 = 70.4% を達成しており、これはランダム予測よりも大幅に優れています。

6. 本番環境における責任のギャップの発見

6.1 ギャップの定義

責任ギャップは、承認された場合、ガバナンス違反を示す、承認済み_by、制約付き_by、またはエスカレーション済み_to タイプの予測された欠落エッジとして定義されます。具体的には、決定ノード d が権限ノード a に対して予測されているが文書化されていないエッジを持っている場合、責任ギャップが存在します。これは、必要な承認または制約チェックが実行されたが記録されていないか、まったく実行されていないことを示唆しています。

6.2 本番展開の結果

私たちは、金融サービス企業の MARIA OS ガバナンス グラフに CP テンソル完成モデルをデプロイしました (n = 4,200 エンティティ、r = 8 関係タイプ、約 128,000 の観察エッジ)。モデルは、すべての関係タイプにわたって 847 個の欠落エッジを予測しました。これらのうち、112 は責任クリティカルなエッジ (approved_by、constrained_by、または escalated_to) でした。私たちはこれら 112 件の予測を検証のためにドメインの専門家に提出しました。

このモデルは、これまで文書化されていなかった 31 の真の責任のギャップを特定しました。 27.7% という精度は低く見えるかもしれませんが、確認されたギャップの絶対数 (31) は重要なガバナンス値を表します。確認された各ギャップは適切な説明責任文書なしで行われた決定であり、コンプライアンス リスクを表す可能性があります。 81 件の誤検知の調査コストは (専門家のレビュー 1 件あたり約 15 分)、文書化されていないギャップを発見するための体系的な方法がない場合に比べれば少額です。

6.3 発見されたギャップの定性分析

確認された 31 のギャップのうち、3 つの繰り返しパターンを特定しました。まず、ゾーンを越えた非公式の承認 (11 件): ゾーンを越えた調整が必要な決定は口頭で承認されましたが、監査証跡では正式に承認されることはありませんでした。第 2 に、暗黙のポリシー制約 (9 件): 決定は、提案エージェントが認識していたが参照として明示的に文書化していなかったポリシー制約の対象でした。 3 番目に、エスカレーションのショートカット (7 件): 正式な階層を通じてエスカレーションされるべき決定が、文書化されたエスカレーション パスをバイパスし、より高い権限を持つエージェントとの直接コミュニケーションを通じて解決されました。残りの 4 件は、証拠参照の欠落や文書化されていない委任チェーンなど、さまざまなギャップがありました。

7. 代替補完方法との比較

7.1 ベースライン

ナレッジ グラフを完成させるための 4 つの代替方法と CP テンソル分解を比較します。

• 行列因数分解 (MF): ランク k SVD を使用して、各関係スライス X_{::k} を独立して因数分解します。これは相互関係構造を無視します。
• TransE: 並進距離埋め込みモデル (エージェントの能力に関する関連文書のセクション 2)。距離スコアリングによってエッジを予測します。
• DistMult: 双線形対角モデル。X_hat_{ijk} = Sum_s u_{is} v_{js} w_{ks}、U = V (対称エンティティ埋め込み)。
• ルールベースの完了: 組織階層に基づいて手動で作成されたルール (例: エージェントがゾーン Z にいて、決定がゾーン Z に割り当てられている場合、エッジを予測します)。

7.2 可観測性 70% での結果

CP テンソル分解は、すべてのベースラインを大幅に上回ります。行列因数分解に対する改善 (84.2% 対 71.9%) は、相互関係構造をモデリングすることの重要性を裏付けています。ガバナンス パターンには複数の関係タイプが同時に関与し (たとえば、エスカレートされた決定にはより多くの承認エッジがあるパターン)、各関係を独立して因数分解すると、この情報が破棄されます。 TransE および DistMult に対する改善 (84.2% 対 78.4% および 80.7%) は、低ランク領域における CP 分解の利点を反映しています。つまり、ガバナンス テンソルのランクは比較的低く (k = 48)、CP 分解は高次元表現を使用する埋め込みベースの手法よりも効率的にこの点を活用します。

8. スケーラビリティと計算上の考慮事項

8.1 計算の複雑さ

CP 分解における ALS の反復ごとのコストは O(|Omega| k + n k^2) です。ここで、|Omega|は観測されたエントリの数、k はテンソル ランクです。 |Omega| を使用したガバナンス テンソルの場合= 128,000 および k = 48、これは反復ごとに約 610 万回の浮動小数点演算になります。収束までに 200 回の ALS 反復を行うと、総トレーニング コストは約 12 億回のオペレーションとなり、単一の CPU コアで 30 秒未満で完了します。

8.2 増分更新

新しい監査レコードが到着すると、完全な再トレーニングを行わなくても、CP 係数を段階的に更新できます。新しい観察されたエントリ X_{ijk} = 1 を考慮して、U、V、W の関連する行のみを調整するローカル ALS 更新を実行します。増分更新のコストは、テンソルの合計サイズに関係なく、O(k^2) です。これにより、新しい証拠が到着するたびに完成したテンソルが継続的に維持され、ストリーミング監査データ上でリアルタイムのグラフ完成が可能になります。

8.3 大企業への拡張

非常に大規模な企業 (n > 100,000 エンティティ) の場合、完全なテンソルは大きすぎて明示的に保存できません。観測されたエントリのみを格納するスパース テンソル表現と、予測用のコンパクトな因数分解表現を使用します。メモリ使用量は O(|Omega| + (2n + r) * k) で、n = 100,000 の場合、|Omega| となります。 = 5M、r = 8、k = 48 は約 50MB であり、単一マシンの容量内に十分収まります。

9. ディスカッション

9.1 ガバナンスのトレーサビリティへの影響

欠落した責任エッジを予測する機能により、ガバナンスのトレーサビリティが二値特性 (エッジが文書化されているかどうか) から確率的特性 (エッジが存在する可能性が予測されている) に変換されます。この移行により、コンプライアンス評価に対するより微妙なアプローチが可能になります。欠落しているすべてのエッジに違反の可能性があるとしてフラグを立てるのではなく、システムは調査の予測可能性が高いエッジを優先して、誤報率を減らし、監査リソースを真のギャップに集中させます。

9.2 倫理的考慮事項

責任エッジの欠落を予測すると、重要な倫理的問題が生じます。予測されたエッジは、エージェントがおそらく文書化されていない責任関係を持っていたことを意味します。この予測が業績評価や懲戒処分に使用される場合、確立された事実としてではなく、検証が必要な仮説として扱われなければなりません。 MARIA OS 統合では、予測エッジに明示的な不確実性指標が表示され、予測エッジが信頼できるものとして扱われる前に人間による確認が必要です。

9.3 制限事項

定理 1 の一様サンプリングの仮定は、実際には完全には当てはまりません。可観測性は関係タイプと相関しています (形式的なエッジは非形式的なエッジよりも観測可能です)。関係タイプ固有のしきい値の選択はこれに部分的に対処していますが、完全に不均一な理論的処理は精度の限界を強化します。さらに、CP 分解では、エンティティと関係タイプの固定セットが想定されます。エンティティの追加やスキーマの変更を処理するには、定期的な完全な再トレーニングが必要ですが、将来の作業では段階的なアプローチが開発される可能性があります。

10. 結論

この論文は、エンタープライズ ガバナンス ナレッジ グラフで欠落している責任エッジを予測する問題を、部分可観測性の下でのテンソル完了タスクとして形式化しました。 CP 分解アプローチは、ガバナンス テンソルを、繰り返し発生する組織パターンを捕捉する解釈可能な潜在コンポーネントに因数分解し、これらのパターンを観測されていないエントリに外挿することでテンソルを完成させます。理論上の精度限界 Acc >= 1 - C kappa_max^2 (1 - rho) / sqrt(k rho n) は、可観測率、テンソル ランク、予測精度の間の基本的な関係を確立し、MARIA OS ガバナンス データで 4.1% 以内であることが検証されています。 70% の可観測性では、CP 分解は保留されたエッジの 84.2% を回復し、行列因数分解を 12.3 パーセント ポイント、TransE を 5.8 ポイント上回ります。本番展開では、モデルはこれまで文書化されていなかった 31 個の機能を特定しました。責任のギャップには、非公式のクロスゾーン承認、暗黙のポリシー制約、具体的なガバナンスリスクを表すエスカレーションのショートカットなどがあります。このフレームワークは、ALS の増分更新を通じてリアルタイムで動作し、100,000 を超えるエンティティを抱える企業に拡張でき、MARIA OS 責任ゲート システムと統合して、人間による調査と確認のために調整された信頼スコアを使用して予測ギャップを表示します。

参考文献

- コルダ、TGとベイダー、B.W. （2009年）。テンソルの分解と応用。 SIAM レビュー、51(3)、455 ～ 500 ページ。

- カンデス、E.J.および Recht、B. (2009)。凸最適化による正確な行列の完成。 計算数学の基礎、9(6)、717-772 ページ。

- ニッケル、M.、マーフィー、K.、トレスプ、V.、ガブリロビッチ、E. (2016)。ナレッジ グラフのリレーショナル機械学習のレビュー。 IEEE 議事録、104(1)、11 ～ 33 ページ。

- ラクロワ、T.、ウスニエ、N.、およびオボジンスキー、G. (2018)。知識ベースを完成させるための正準テンソル分解。 第 35 回機械学習国際会議 (ICML) の議事録、2863 ～ 2872 ページ。

- Yuan, M. および Zhang, C. (2016)。核ノルム最小化によるテンソルの完成について。 計算数学の基礎、16(4)、1031-1068 ページ。