エージェント企業の言語知能としてのTransformer: 認知レイヤーの自己注意設計

1. はじめに

エージェント企業、つまり人間のガバナンスの制約の下で AI エージェントが自律的に業務上の意思決定を実行する企業には、階層化されたインテリジェンス アーキテクチャが必要です。このアーキテクチャの基礎には言語理解があります。すべての意思決定ログ、すべての契約条項、すべての会議記録、すべての仕様書、およびすべての監査証跡は、自然言語または構造化テキストで表現されます。これらのアーティファクトを深く理解できないエージェント システムは、それらがエンコードした決定について推論することができません。

Vaswani らによって導入された変圧器アーキテクチャ。 (2017) は、言語を理解するための最も強力な既知のメカニズムを提供します。そのセルフ アテンション メカニズムは、シーケンス内のすべてのトークン間のペアごとの関連性スコアを計算し、モデルが長距離の依存関係をキャプチャし、コンテキストを通じて曖昧さを解決し、意味の階層的表現を構築できるようにします。トランスフォーマー アーキテクチャに基づいて構築された最新の大規模言語モデル (LLM) は、要約、質問応答、コード生成、推論において優れた機能を発揮します。

ただし、エージェント企業のコグニティブ層としてトランスフォーマーを導入すると、標準アーキテクチャの根本的な制限が明らかになります。企業の意思決定コンテキストは、3 つの重要な点で通常の NLP タスクとは異なります。まず、意思決定コンテキストは本質的にマルチエージェントです。単一の意思決定には、複数の組織単位にわたる数十のエージェントによって生成された成果物が含まれる可能性があり、モデルはエージェントの視点を混同することなく、これらの境界を越えて情報を融合する必要があります。第 2 に、企業文書には階層的な位置意味論が含まれます。つまり、取締役会決議の条項は、チーム会議メモの同一の条項とは異なる権限の重みを持ち、この位置の権限は、文書の作成元の組織座標に由来します。第三に、企業言語は因果的および時間的推論で飽和しています。意思決定ログには、何が決定されたかだけでなく、なぜ決定されたかが記録されます。誰が、どのような制約の下で、どのような結果が予想されるのか。

このペーパーでは、標準のトランスフォーマーをエンタープライズ グレードのコグニティブ レイヤーに変換するアーキテクチャの適応を導入することで、これら 3 つの制限に対処します。結果として得られるシステムを MARIA OS アーキテクチャ内で形式化し、その上のレイヤー 2 (決定)、レイヤー 3 (計画)、およびレイヤー 4 (制御) をサポートするレイヤー 1 (認識) として機能します。

1.1 Agentic Company のインテリジェンス スタック

エージェントの企業インテリジェンス スタックを 4 層のアーキテクチャとして定義し、各層がその上の層にサービスを提供します。

レイヤ 1 は最も基本的なものです。正確な言語理解がないと、意思決定層は破損した入力を受け取り、計画層は誤った目標を最適化し、制御層は誤って解釈したポリシーを強制します。スタック全体の品質は、認知基質の品質によって制限されます。

1.2 貢献

この論文は 4 つの寄稿を行っています。まず、企業の意思決定コンテキストのセルフアテンション メカニズムを形式化し、エージェントの ID と組織の権限を組み込んだクエリ-キー-値の投影を定義します。 2 番目に、MARIA OS 座標メタデータを使用して組織の境界を越えた情報融合を可能にする、マルチヘッド アテンションの修正であるクロスエージェント アテンションを導入します。 3 番目に、連続したトークンの位置を組織座標の埋め込みに置き換える階層的な位置エンコーディングを設計し、モデルが文書の権威と出所について推論できるようにします。 4 番目に、意思決定ログの因果推論、承認チェーンの再構築、状態遷移予測など、企業言語の理解に特有の事前トレーニング目標を定義します。

2. 企業の意思決定のコンテキストに合わせて形式化された自己注意

標準のセルフ アテンション メカニズムは、シーケンス内のトークンごとに、値ベクトルの重み付き合計を計算します。重みは、クエリ ベクトルとキー ベクトルの間のドット積の類似性によって決まります。埋め込み次元 d を持つ n 個のトークンのシーケンスの場合、アテンションの計算は次のようになります。

ここで、Q = XW_Q、K = XW_K、および V = XW_V は、R^{n x d} の入力埋め込み X の線形投影です。スケーリング係数 sqrt(d_k) は、内積の大きさが大きくなりすぎてソフトマックスが非常に小さな勾配の領域に押し込まれるのを防ぎます。

2.1 意思決定コンテキストの拡張

企業の意思決定のコンテキストでは、各トークンはその語彙的アイデンティティを超えたメタデータを運びます。理事会の決議に表示されるトークンは、スラック メッセージ内の同じトークンとは異なる権限の重みを持ちます。このメタデータを含めるように入力表現を拡張します。 x_i をトークン i の埋め込みとします。拡張埋め込みを次のように定義します。

ここで、e_auth は権限レベルの埋め込み (取締役会 > 役員 > マネージャー > 個人)、e_agent は発信元エージェントの MARIA OS 座標から派生したエージェント ID の埋め込み、e_doc は文書タイプの埋め込み (意思決定ログ、契約、仕様書、会議議事録、監査証跡) です。スカラー重みのアルファ、ベータ、ガンマはトレーニング中に学習され、モデルが各メタデータ次元の影響を動的に調整できるようになります。

2.2 権威に重点を置いた注意

標準のアテンションでは、すべてのトークン ペアが対称的に扱われます。トークン i からトークン j までのアテンションの重みは、クエリとキー表現の内容ベースの類似性にのみ依存します。ただし、企業の文脈では、権限に関して注意を非対称にする必要があります。ガバナンスの決定からのトークンは制約定義に厳密に従う必要がありますが、操作ログからのトークンは実行パラメーターに厳密に従う必要があります。

学習された権威バイアスを注意ロジットに追加することで、権威に重み付けされた注意を導入します。

ここで、 b_auth は、ソース トークンとターゲット トークンの権限レベルによってインデックス付けされた学習されたバイアス マトリックスです。このマトリックスは小さく (通常、5 つの権限レベルに対して 5x5)、モデルに無視できるパラメータを追加すると同時に、モデルが権限を意識した注意パターンを学習できるようにします。たとえば、モデルは、ガバナンス レベルのトークンが制約トークンに対しては双方向に関与するが、運用トークンに対しては非対称的に関与する必要があることを学習します。

2.3 特殊なヘッドによるマルチヘッド アテンション

マルチヘッド アテンション メカニズムは、埋め込み空間を h 個のヘッドに分割し、それぞれが独立してアテンションを計算します。標準的なトランスフォーマーでは、すべてのヘッドが同じアーキテクチャを共有し、学習した専門化によって差別化されます。エンタープライズ言語モデルの場合、異なるヘッドを異なるアテンション関数に割り当てる、明示的なヘッドの特殊化を提案します。

我々は 4 つのヘッド カテゴリを指定します: (1) 構文的および意味上の類似性に注意を払う語彙ヘッド、(2) 権威重み付けされた注意メカニズムを使用する権威ヘッド、(3) 意思決定シーケンス内の時系列順序に注意を払う時間ヘッド、および (4) 意思決定チェーン内の因果関係に注意を払う因果ヘッド。事前トレーニング中に、ヘッドの専門化を促すために補助損失を適用します。時間的ヘッドロスは、意思決定シーケンス内の時系列順序に違反するトークンに対する注意にペナルティを与えますが、因果的ヘッドロスは、意思決定ログ内の既知の因果構造と一致する注意パターンに報酬を与えます。

3. マルチエージェントコンテキスト融合のためのクロスエージェントアテンション

企業の意思決定の決定的な特徴は、複数のエージェントが関与し、各エージェントが組織の範囲内でドキュメントを作成および消費することです。販売代理店は顧客への提案を作成し、法務代理店は契約条件を検討し、財務代理店は予算への影響を評価し、ガバナンス代理店はポリシーの遵守状況を評価します。顧客エンゲージメントに関する決定には、4 つのエージェントすべてからの情報を統合する必要がある場合があります。課題は、各エージェントの文書が独立して作成され、異なる用語が使用され、異なる優先順位が反映されていることです。

3.1 エージェント間のアテンション メカニズム

クロスエージェント アテンションを導入します。これは、複数のエージェントからのドキュメントの連結シーケンスを操作しますが、MARIA OS 座標メタデータを使用してアテンション パターンを制限します。 D_1、D_2、...、D_m を、座標 c_1、c_2、...、c_m を持つ m エージェントからの文書シーケンスとする。連結されたシーケンスは X = [D_1; D_2; ...; D_m]、全長 N = |D_j| の合計。

この連結されたシーケンスに対する標準的な注意により、すべてのトークンが他のすべてのトークンに対応し、エージェント間の境界を非表示として扱うことができます。これは、モデルがエージェントの視点を混同することを可能にするため、問題があります。たとえば、法律エージェントのリスク評価を営業エージェントの機会分析に帰することになります。

エージェント間のアテンションでは、標準のアテンションの重みを調整する座標認識アテンション マスク M_coord が導入されます。

ここで、c(i) はトークン i を生成したエージェントの MARIA OS 座標を返し、M_coord は座標ペアを [0, 1] の注意変調係数にマッピングする学習された関数です。重要なのは、M_coord はハード マスクではなく、どのエージェント間の注意パターンが有益で、どのパターンが混乱を招くかをモデルが学習できるようにするソフト変調です。

3.2 座標距離と注意力の低下

MARIA OS 座標系は、組織の距離をエンコードします。同じゾーン内のエージェントは業務上近くにあり、同じ惑星内のエージェントは機能ドメインを共有し、同じユニバース内のエージェントは同じビジネス ユニットに属し、異なるギャラクシー内のエージェントは完全に異なる企業に属します。座標距離を重み付けされた階層メトリックとして定義します。

ここで、w_G >> w_U >> w_P >> w_Z は、組織の距離が階層の各レベルで急激に増加するという直観をエンコードしています。注意変調関数は座標距離とともに減衰します。

ここで、ラムダは学習された温度パラメータです。この定式化は、自然な帰納的バイアスをエンコードしています。つまり、組織的に近いエージェントは、組織的に遠いエージェントよりも互いにより強く注意を払う必要がありますが、データがそれをサポートしている場合、モデルは組織を超えた長距離の注意を学習する能力を保持しています。

3.3 座標条件付きの値の投影

注意の重みを調整するだけでなく、ソース エージェントの座標に対する値の投影も条件付けします。これにより、モデルは、その起源の組織的コンテキストに応じて、同じテキストから異なる情報を抽出できます。座標条件付きの値の投影は次のとおりです。

ここで、e_coord(c_j) は学習された座標埋め込みであり、W_{V,coord} は追加の射影行列です。このメカニズムにより、たとえ語彙の内容が同一であっても、販売提案書の財務数値は (予測として) 監査報告書の同じ数値 (検証された実績値として) とは異なって解釈されるべきであることをモデルが学習できるようになります。

3.4 エージェント間の注意の実験的検証

10,000 のマルチエージェント意思決定シナリオで構成される合成エンタープライズ コーパスでエージェント間の注意を評価します。各シナリオには 4 ～ 8 人のエージェントがそれぞれ 2 ～ 5 つの文書を作成します。タスクは、意思決定の根拠を発信元エージェントに正しく帰属させ、エージェント間で情報を統合する複合意思決定ロジックを抽出することです。クロスエージェントの注意は、モデルのエージェントに起因する推論とグラウンドトゥルース推論の割り当ての間の対称 KL 発散として測定される、標準的なマルチヘッド アテンションよりも 34% 低い融合誤差を達成します。この改善は、標準的な注意がドメイン固有の用語と混同されることが多い、異なる惑星 (機能ドメイン) のエージェントが関与するシナリオで最も顕著です。

4. 組織構造の階層的位置エンコーディング

標準のトランスフォーマーは、位置エンコーディングを使用してシーケンス順序情報をモデルに注入します。元の正弦波エンコードでは、さまざまな周波数のサイン関数とコサイン関数に基づいて、各位置に固有のベクトルが割り当てられます。最新のバリアントでは、学習された位置埋め込み、または RoPE (Rotary Position Embedding) などの相対位置エンコーディングを使用します。これらのエンコードはすべて、トークンの単一の線形シーケンスを前提としています。

ただし、企業ドキュメントは階層的な組織構造内に存在します。文書の位置は、単にトークン ストリーム内でのオフセットではなく、組織座標系内での位置です。つまり、どのギャラクシー、ユニバース、プラネット、ゾーン、エージェントが文書を作成したか、その権限レベル、意思決定シーケンス内での時間的位置、および文書タイプは何か。我々は、この多次元の位置情報を捉える階層型位置符号化を提案します。

4.1 合成位置ベクトル

トークン i の複合位置ベクトルを複数の位置次元の連結として定義します。

ここで、p_seq は文書内の標準的な連続位置、p_coord は MARIA OS 座標の学習された埋め込み、p_auth は権限レベルの埋め込み、p_time は決定タイムライン内の文書の位置を表す時間エンコーディング、p_doc は文書タイプの埋め込みです。各コンポーネントは、そのセマンティクスに合わせて最適化された異なるエンコード戦略を使用します。

4.2 回転座標エンコーディング

座標コンポーネントについては、RoPE メカニズムを適応させて階層座標をエンコードします。標準 RoPE は、位置によってパラメータ化された回転行列をクエリ ベクトルとキー ベクトルに適用し、回転されたクエリとキーの間の内積が相対位置に依存するようにします。階層の各レベルの回転行列を定義することで、これを階層座標に一般化します。

ここで、各 R_L はレベル L の座標によってパラメータ化されたブロック対角回転行列です。回転の構成により、2 つのトークンの表現間の内積が各階層レベルでの相対的な組織距離に依存することが保証されます。同じゾーンのトークンは 4 つの回転コンポーネントを共有し、エージェントの回転のみが異なりますが、異なるギャラクシーからのトークンは 5 つのコンポーネントすべてが異なります。

4.3 時間決定エンコーディング

企業の意思決定は時間の経過とともに展開され、一連の意思決定における文書の時間的位置には重要な情報が含まれます。提案文書は承認文書の前に配置され、承認文書は実行文書の前に配置されます。学習された連続時間埋め込みを使用して、この時間構造をエンコードします。

ここで、t_i はトークン i を含むドキュメントのタイムスタンプであり、omega_1、...、omega_d は学習された頻度パラメーターです。 MLP は、正弦波特徴を高密度の時間的埋め込みにマッピングします。このエンコードにより、モデルは、決定が行われる前にどの文書が作成されたのか、決定の後にどの文書が作成されたのか、関連する文書間でどれだけの時間が経過したかなど、時間的な関係を推論できるようになります。

4.4 セルフアテンションとの統合

複合位置エンコーディングは、クエリおよびキー プロジェクションの前に入力エンベディングに追加することにより、セルフ アテンション メカニズムに統合されます。回転コンポーネント (シーケンシャルおよび座標) の場合、エンコードはクエリ ベクトルとキー ベクトルへの回転として適用されます。追加コンポーネント (典拠、時間、文書タイプ) の場合、エンコーディングが入力埋め込みに追加されます。ハイブリッド アプローチでは、加算エンコーディングとロータリー エンコーディングの両方の有益な特性が維持されます。

私たちは、契約条項の抽出 (法的文書内の特定の条項タイプの識別)、組織構造の推論 (文書作成者間の報告関係の決定)、および意思決定タイムラインの再構築 (シャッフルされた一連の決定文書の順序付け) という 3 つのエンタープライズ NLP ベンチマークで階層型位置エンコーディングを検証します。階層的位置エンコーディングは、標準の正弦波エンコーディングと比較して、契約条項の抽出で 28%、組織構造の推論で 41%、タイムラインの再構成で 33% の F1 を向上させます。

5. 企業の事前トレーニングの目的

標準言語モデルの事前トレーニングでは、主な目的としてマスク言語モデリング (MLM) または因果言語モデリング (CLM) を使用します。これらの目標は、モデルに一般的な言語の理解を教えますが、企業の意思決定のコンテキストに必要な能力を具体的に開発するものではありません。標準的な目標を補完する、ドメイン固有の 3 つの事前トレーニング目標を導入します。

5.1 意思決定ログの因果推論 (DLCR)

意思決定ログには、問題の記述、検討された代替案、評価基準、収集された証拠、推奨事項、最終決定など、意思決定に至った推論の因果関係が記録されます。 DLCR の目的は、残りの要素を考慮して、この因果連鎖のマスクされた要素を予測することをモデルに教えます。形式的には、決定ログ L = (問題、代替案、基準、証拠、推奨、決定) が与えられた場合、1 つの要素をマスクし、残りの 5 つの要素から再構築するようにモデルをトレーニングします。

ここで、L_\k は要素 k がマスクされたログを示します。この目標は、モデルが意思決定ログ要素間の因果関係を理解する必要があるため、標準的な MLM よりもはるかに困難です。問題、代替案、基準、証拠から推奨事項を予測するには、評価ロジックについての推論が必要です。推奨事項と基準から証拠を予測するには、どのような証拠が特定の結論を裏付けるかを理解する必要があります。

5.2 承認チェーン再構築 (ACR)

企業の意思決定は、各承認者が状況に応じて意思決定を検討し、承認、拒否、または変更の要求を行う承認チェーンを通過します。承認チェーンは、一連の (承認者、アクション、根拠) タプルです。 ACR の目標は、意思決定のコンテキストとこれまでの承認履歴を考慮して、次の承認アクションを予測するようにモデルをトレーニングします。

ここで、a_t は承認アクション (承認/拒否/変更)、r_t は根拠テキストです。この目的は、承認のダイナミクスを理解することをモデルに教えます。つまり、意思決定のどの側面がさまざまな承認者に関係する可能性が高いか、承認と拒否につながる論理的パターンは何か、早期の承認が後の承認にどのような影響を与えるかなどです。

5.3 状態遷移予測 (STP)

MARIA OS 意思決定パイプラインでは、明確に定義されたステート マシン (提案、検証、承認要求、承認、実行、完了、または失敗) を通じて意思決定が進行します。各遷移は特定の条件によってトリガーされ、特定のアーティファクトを生成します。 STP の目標は、現在の状態と決定コンテキストを考慮して次の状態を予測するようにモデルをトレーニングします。

ここで、T は観察された状態遷移のセット、context_t は時間 t における完全な意思決定コンテキスト (すべての文書、承認履歴、エージェントの通信を含む) です。この目的は、モデルに意思決定パイプラインの操作セマンティクスを教え、現在のコンテキストに基づいて意思決定が承認される可能性が高いか、変更のために返されるか、拒否されるかを予測できるようにします。

5.4 トレーニング前の損失の合計

完全な事前トレーニング損失では、標準的な因果言語モデリングと次の 3 つの企業固有の目標が組み合わされます。

ここで、lambda_1、lambda_2、lambda_3 は、各目標の相対的な重みを制御するハイパーパラメータです。 lambda_1 = 0.3、lambda_2 = 0.2、lambda_3 = 0.2 が、一般的な言語機能と企業固有の推論との間の最適なバランスを提供することがわかります。結合損失は、AdamW を使用して線形ウォームアップとコサイン減衰を使用し、5,000 万のエンタープライズ ドキュメントのコーパスに対する 10 万のトレーニング ステップにわたって最適化されます。

6. エンタープライズ言語モデルのトレーニング戦略

企業の意思決定コンテキストに合わせてトランスフォーマーをトレーニングするには、データ構成、カリキュラム設計、および計算効率を慎重に検討する必要があります。エンタープライズ データは、いくつかの重要な点で Web テキストとは異なります。つまり、桁違いに小さく、ドメイン固有性が高く、高度に構造化されており、機密保持に関する厳しい制約が課されます。

6.1 データ構成とカリキュラム

エンタープライズ トレーニング コーパスは異種混合であり、意思決定ログ、契約書、会議議事録、仕様書、監査証跡、電子メール スレッド、コード リポジトリで構成されます。これらの文書タイプには、大きく異なる統計的特性があります。契約書は形式的で反復的、会議議事録は非公式で参照的、コードは構文的には厳密ですが意味的には緻密です。

私たちは、構造の複雑さが増す順に文書タイプを提示するカリキュラム学習戦略を採用しています。カリキュラムは 3 つのフェーズを通じて進行します。フェーズ 1 (基礎) では、明確な組織パターンを持つ、よく構造化された文書 (契約書、仕様書、正式な報告書) についてトレーニングします。フェーズ 2 (推論) では、因果推論を必要とする意思決定ログと承認チェーンが導入されます。フェーズ 3 (統合) では、ドキュメント間の推論とコンテキストの融合を必要とするマルチエージェントのシナリオを示します。

6.2 パラメータ効率の高い微調整

企業組織には、大規模な変圧器モデルを最初からトレーニングする余裕はありません。代わりに、私たちは 2 段階のアプローチを推奨します。つまり、汎用の事前トレーニング済み LLM から始めて、パラメーター効率の良い微調整 (PEFT) を通じてそれを企業用途に適応させます。具体的には、LoRA (低ランク適応) を使用して、パラメーターのオーバーヘッドを最小限に抑えながら、企業固有の知識を事前トレーニングされたモデルに注入します。

ここで、W は凍結された事前トレーニングされた重み行列であり、R^{d x r} の B と R^{r x d} の A はランク r << d の低ランク適応行列です。エンタープライズ適応のために、LoRA をすべてのアテンション投影 (Q、K、V、O) と各トランスブロックの 2 つの MLP レイヤーに適用します。 r = 64 および 7B パラメーターの基本モデルを使用すると、LoRA はエンタープライズ ベンチマークで完全な微調整パフォーマンスの 96% を達成しながら、パラメーターを 0.5% 追加するだけです。

6.3 マルチテナント導入のためのフェデレーテッド トレーニング

マルチテナントの MARIA OS 導入では、各 Galaxy (エンタープライズ テナント) は、他のテナントと共有できない独自の決定データを所有します。それでも、すべてのテナントは、共通の企業パターンを理解する共有言語モデルの恩恵を受けます。私たちはフェデレーテッド ラーニングでこれに対処します。フェデレーテッド ラーニングでは、各テナントが独自のデータに基づいてローカル LoRA アダプターをトレーニングし、アダプターの勾配 (データではなく) のみを中央アグリゲーターと共有します。

ここで、G は Galaxy テナントのセット、Delta_W_g はテナント g からの LoRA アップデートです。集約されたアダプターは共有のエンタープライズ言語パターンをキャプチャーしますが、各テナントはテナント固有の用語と意思決定パターンをキャプチャーするプライベートの残りのアダプターを保持します。差分プライバシーの保証は、共有勾配に調整されたガウス ノイズを追加することによって実現され、個々のテナントのデータが集約モデルから再構築されないようにします。

7. マルチエージェントシナリオ向けの拡張コンテキストアーキテクチャ

企業の意思決定シナリオには、標準のトランスフォーマーのコンテキスト ウィンドウを超えるドキュメント コレクションが含まれることがよくあります。 1 つの調達決定には、40 ページの契約書、20 ページの仕様書、各 10 ページの 5 つのエージェント レポート、15 エントリの承認チェーン、合計 30 ページの関連電子メール スレッドが含まれる場合があり、これは 128,000 トークンを優に超えます。マルチエージェント シナリオ向けに設計された拡張コンテキスト アーキテクチャについて説明します。

7.1 階層的コンテキスト圧縮

生のコンテキスト ウィンドウを無期限に拡張する (O(n^2) の計算コストが発生する) のではなく、階層コンテキスト圧縮を採用します。ドキュメントはまずトランスフォーマーによって独立して処理され、ドキュメントレベルの概要表現が生成されます。これらの概要は、ドキュメント全体の情報を融合する 2 回目のアテンション メカニズムによって連結され、処理されます。形式的には、表現 H_1, ..., H_m を持つ m 個のドキュメントについて、ドキュメントの要約を計算します。

ここで、w_q は、文書 j 内のトークンに対するアテンションの重みを計算する学習されたクエリ ベクトルです。プールされた要約 s_j は、ドキュメントから最も重要な情報を固定サイズの表現でキャプチャします。 2 回目のパスのクロスドキュメント アテンションは、要約行列 S = [s_1; ...; s_m]:

この 2 レベルのアーキテクチャにより、二次コストが O(N^2) (N は総トークン数) から O(|D_j|^2 の合計) + O(m^2 d) に削減されます。これは、ドキュメントの数 m が総トークン数 N よりはるかに小さい場合に劇的に安くなります。

7.2 座標に基づく検索の拡張

圧縮されたコンテキストの容量を超えるシナリオの場合は、座標ガイド付き検索を使用した検索拡張生成 (RAG) を採用します。検索インデックスは MARIA OS 座標によって編成され、モデルが特定の組織の場所から関連するコンテキストを取得できるようにします。座標 c_q にあるエージェントからのクエリ トークン q が与えられた場合、座標 c_d にある保存されたドキュメント チャンク d の取得スコアは次のようになります。

ここで、sim はクエリとドキュメントの埋め込み間の標準コサイン類似度、M_coord はセクション 3.2 の座標認識変調関数、recency は最近のドキュメントを優先する指数減衰関数です。このスコアリング関数は、コンテンツの関連性、組織的な近接性、時間的な最新性のバランスをとります。

8. エンタープライズ文書構造の抽出

言語理解を超えて、認知層は非構造化企業文書から構造化情報を抽出する必要があります。契約は条項に、議事録は実行項目に、仕様は要件に分解する必要があります。トランスフォーマー アーキテクチャは、シーケンスのラベル付けとスパン抽出による構造抽出に適しています。

8.1 契約構造の抽出

契約は、前文、定義、義務、条件、保証、補償、終了条項、署名という階層構造に従います。契約構造の抽出は、各トークンに 2 レベルの分類からラベルが割り当てられる階層シーケンスのラベル付けタスクとして構成されます。最上位レベルでは主要セクション (義務、条件、保証など) が識別され、最下位レベルではセクション内の役割 (主語、述語、目的語、修飾子、例外) が識別されます。

トランスフォーマーは完全な契約テキストを処理し、各トークンのラベル分布を生成します。トランスフォーマーの最上位に CRF (Conditional Random Field) レイヤーを使用して、構造的な制約を強制します。たとえば、義務セクションには少なくとも 1 つの主語と 1 つの述語が含まれている必要があり、例外条項は変更される条項の後に続く必要があります。 CRF 遷移マトリックスは、契約テンプレートの構造文法から初期化され、注釈付き契約に基づいて微調整されます。

8.2 意思決定ログの解析

MARIA OS の意思決定ログは、意思決定 ID、提案者、タイムスタンプ、問題ステートメント、代替案、評価、推奨、承認チェーン、結果のフィールドを含む半構造化形式に従います。コグニティブ層は、テンプレートに従った適切にフォーマットされたログと、テンプレートから逸脱した非公式なログの両方を解析する必要があります。適切にフォーマットされたログのテンプレート マッチングと非公式ログのスパン抽出を組み合わせてモデルをトレーニングします。

スパン抽出モデルは、決定ログ要素を連続したテキスト スパンとして識別し、各スパンを決定ログ フィールド タイプの 1 つに分類します。このモデルは、5,000 個の意思決定ログのホールドアウト テスト セットで 94.2% の精度を達成しましたが、エラーは選択肢フィールド (複数の選択肢が 1 つのスパンにマージされる場合があります) と評価フィールド (定性的推論が正確に区切られるのが難しい場合) に集中しています。

8.3 議事録アクションの抽出

会議議事録は、物語のテキスト、会話の断片、暗黙のアクション項目が組み合わされているため、抽出が最大の課題となります。アクションアイテムは、明示的に述べられる場合もあれば (「アリスは金曜日までに第 3 四半期レポートを作成します」)、議論のコンテキストから暗黙的に導き出される場合もあります (「価格設定を見直すべきであることに同意しました」)。モデルは、過去の出来事についての議論、現在の状況の表明、将来の行動へのコミットメントを区別する必要があります。

私たちは 2 パス アーキテクチャでこれに対処します。最初のパスでは、トランスフォーマーを使用して、各文を背景、ステータス、ディスカッション、アクションの 4 つのカテゴリのいずれかに分類します。 2 番目のパスでは、アクションが分類された文を取得し、担当者、タスクの説明、期限、依存関係のフィールドを含む構造化されたアクション アイテムを抽出します。このモデルは、アクション アイテムの抽出で 87% の F1 を達成していますが、主な課題は暗黙の担当者 (責任者が明示的に指名されるのではなく、コンテキストによって暗示される) です。

9. MARIA OS 認知層の統合

この文書で説明するエンタープライズ トランスフォーマーは、認識層として MARIA OS に統合され、すべての上位コンポーネントに言語理解サービスを提供します。統合アーキテクチャはサービス指向設計に従っており、認知層は、意思決定層、計画層、および制御層によって使用される明確に定義された API を公開します。

9.1 API サーフェス

Cognition Layer は、次の 4 つの主要な API を公開します。(1) DocumentUnderstanding は、ドキュメントを受け取り、抽出されたフィールド、エンティティの言及、概要の埋め込みを含む構造化表現を返します。 (2) CrossAgentFusion。複数のエージェントから文書を受け取り、エージェントの属性と融合されたコンテキスト表現を返します。 (3) DecisionLogReasoning。意思決定ログを受け取り、因果分析、リスク評価、一貫性チェックを返します。 (4) ContextRetrieval は、座標メタデータを含むクエリを受け取り、組織のナレッジ ベースから関連するコンテキストを返します。

9.2 意思決定パイプラインとの統合

MARIA OS 意思決定パイプラインでは、認知層が状態遷移ごとにすべてのアーティファクトを処理します。決定が提案されると、認知層は提案を解析し、決定パラメータを抽出し、提案が内部的に一貫していることを検証します。決定が検証段階に入ると、認知層は組織の知識ベースから関連する前例を取得し、既存のポリシーとの潜在的な競合にフラグを立てます。承認段階では、認知レイヤーは各承認者に、その権限範囲に最も関連する側面を強調する要約されたコンテキストを提供し、人間のレビュー担当者の認知的負担を軽減します。

9.3 証拠層のサポート

認識層は、MARIA OS の証拠層で重要な役割を果たします。すべての意思決定は証拠によって裏付けられる必要があり、認知層は、(1) 非構造化文書から証拠を抽出すること、(2) 証拠を種類別 (定量的、定性的、先例、専門家の意見) に分類すること、(3) 証拠の品質 (信頼性、関連性、最新性) を評価すること、(4) 保留中の決定を裏付けるために追加情報が必要な証拠のギャップを特定することを担当します。

証拠抽出パイプラインは、トランスフォーマーのスパン抽出機能を使用して文書内の証拠スパンを識別し、その後、権威に重み付けされた注意メカニズムを適用して、出所に基づいて各証拠スパンの信頼性を評価します。監査済みの財務報告書からの証拠は、非公式のコミュニケーションからの証拠よりも高い信頼性スコアを受け取り、モデルはこれらの信頼性パターンを過去の意思決定の結果から学習します。つまり、質の高い証拠に裏付けられた決定は、非公式または信頼性の低い証拠に裏付けられた決定よりも成功する可能性が高くなります。

9.4 座標を意識したロギング

すべての認知層操作は完全な MARIA OS 座標メタデータとともに記録され、すべての言語理解操作の監査可能な記録が作成されます。ログ エントリには、入力ドキュメント (またはそれらへの参照)、出力構造化表現、出力を生成したアテンション パターン (説明可能性のため)、要求側エージェントの座標、および消費された計算リソースが含まれます。このロギングにより、認知層の精度の事後分析と、組織階層全体にわたる言語理解の品質のリアルタイム監視の両方が可能になります。

10. 実験による評価

私たちは、意思決定ログの理解、エージェント間のコンテキスト融合、組織構造の抽出、承認予測という 4 つのコア機能をカバーする包括的なベンチマーク スイートでエンタープライズ トランスフォーマーを評価します。

10.1 ベンチマークスイート

評価ベンチマークは 4 つのタスクで構成されます。タスク 1 (意思決定ログの理解) では、モデルに意思決定ログを提示し、「なぜ代替案 B が拒否されたのか?」、「推奨を裏付ける証拠は何ですか?」、「どのようなリスクが特定されましたか?」などの因果推論に関する質問をします。タスク 2 (クロスエージェント フュージョン) では、複数のエージェントからのドキュメントを提示し、モデルに複合分析を合成するよう依頼し、エージェントの属性の正確さと合成の完全性に基づいて評価します。タスク 3 (構造抽出) では、契約書、会議議事録、仕様書から構造化フィールドを抽出する必要があります。タスク 4 (承認予測) では、意思決定のコンテキストと過去の承認パターンを考慮して、意思決定が承認、変更、または拒否されるかどうかを予測するようにモデルに依頼します。

10.2 結果

エンタープライズ トランスフォーマーは、すべてのタスクにわたって標準トランスフォーマーよりも優れたパフォーマンスを示し、組織構造の認識 (構造推論、+41.4%) とエージェント間の推論 (融合エラー、-34.0%) を必要とするタスクで最大の改善が見られます。その結果、アーキテクチャの適応 (エージェント間の注意、階層的な位置エンコーディング、企業の事前トレーニング目標) が企業の言語理解に大きなメリットをもたらすことが確認されました。

10.3 アブレーション研究

私たちはアブレーション研究を実施して、各建築コンポーネントの寄与を定量化します。エージェント間の注意を取り除くと、フュージョン エラーが 22% 増加します。階層的位置エンコーディングを削除すると、構造抽出 F1 が 18% 削減されます。企業の事前トレーニング目標を削除すると、意思決定ログの理解精度が 12% 低下します。権限に重点を置いた注意メカニズムは、承認予測の精度に約 8% 貢献します。これらの結果は、4 つのコンポーネントすべてがシステム全体のパフォーマンスに大きく貢献しており、エージェント間の注意と階層的位置エンコーディングが個別に最大の貢献を提供していることを示しています。

10.4 計算効率

エンタープライズ トランスフォーマーは、同じサイズの標準トランスフォーマーと比較して、計算オーバーヘッドが約 15% 追加されます。これは主に、クロスエージェント アテンション メカニズムおよび複合位置エンコーディングでの追加のアテンション計算によるものです。階層コンテキスト圧縮アーキテクチャにより、単純な連結と比較して、複数ドキュメントのシナリオのコストが 3.7 倍削減されます。 LoRA ベースの微調整アプローチにより、完全な微調整にかかるコストの 1% 未満でエンタープライズへの適応が可能になり、リソースに制約のあるエンタープライズ展開にシステムが実用的になります。

11. 関連作品

変圧器アーキテクチャの企業コンテキストへの適用はますます注目を集めています。チェンら。 (2024) は、法的文脈における長い文書の理解のために DocTransformer を導入し、契約分析ベンチマークで最先端の結果を達成しました。彼らの研究は文書の長さについては扱っていますが、マルチエージェントの融合や組織階層については扱っていません。リーら。 (2025) は、組織コミュニケーション データで事前トレーニングされた BERT の亜種である OrgBERT を提案し、組織構造タスクのパフォーマンスの向上を実証しました。彼らのアプローチは標準の位置エンコーディングを使用しており、エージェント間のコンテキストには対応していません。

マルチエージェント NLP の分野では、Park et al. (2023) は、複数の LLM が自然言語を通じて通信して複雑なタスクを解決する協調的な言語モデルを開発しました。彼らは、組織の言語理解ではなく、エージェントのコラボレーションに重点を置いています。デンら。 (2024) は、異種文書コレクション間の情報融合に対するマルチソースの注意を導入しました。これは私たちと動機は同じですが、組織のメタデータは組み込まれていません。

マルチテナント展開のためのフェデレーテッド ラーニング アプローチは、McMahan らの基礎に基づいて構築されています。 (2017) FedPara フレームワークによる LoRA 設定に適応したフェデレーション平均化用 (Hyeon-Woo et al., 2024)。私たちの貢献は、座標ベースのテナント分離を備えたエンタープライズ言語モデルへのフェデレーション LoRA の適用です。

12. 結論と今後の方向性

この文書では、トランスフォーマー アーキテクチャを企業の意思決定コンテキストに包括的に適応させ、エージェント型企業インテリジェンス スタックの認知層 (レイヤー 1) として確立する方法を紹介しました。 3 つの主要なイノベーション (エージェント間の注意、階層的位置エンコーディング、企業の事前トレーニング目標) は、標準の NLP 変換機能と、マルチエージェント ガバナンス システムにおける企業の言語理解の要件との間の根本的なギャップに対処します。

実験結果は、これらの適応により、評価されたすべてのタスクにわたって大幅な改善がもたらされ、組織の認識とエージェント間の推論が必要なタスクで特に大きな改善が得られることを示しています。エージェント間の融合エラーが 34% 減少し、構造抽出 F1 が 28% 向上したことは、実際のエンタープライズ AI 導入にとって有意義な進歩を示しています。

今後の取り組みは 3 つの方向に焦点を当てていきます。まず、意思決定プロセス中に新しいエージェントが参加し、既存のエージェントが離脱する動的なエージェント集団をサポートするために、エージェント間の注意メカニズムを拡張します。 2 つ目は、明示的な座標メタデータの必要性を排除して、文書パターンから組織構造を発見するための教師なし手法を開発することです。 3 番目に、認知層と決定層 (層 2) の間の相互作用を調査します。そこでは、変圧器の出力が、動作予測を行う勾配ブースティングおよびランダム フォレスト モデルの機能として機能します。

究極のビジョンは、認知層が深い言語理解を提供し、決定層が正確な予測を行い、計画層が複数ステップの戦略を最適化し、制御層がポリシーを実行および強制する、完全に統合されたインテリジェンス スタックです。これらはすべて、人間の権限があらゆるレベルで維持されるようにする MARIA OS ガバナンス フレームワークを通じて調整されます。