Safety & Governance2026年3月8日28 min read
ガバナンス下のツール生成:生成コードを安全にコマンド化する方法
サンドボックス検証、権限昇格モデル、監査証跡、ロールバック機構による自己拡張エージェントシステムの安全性フレームワーク
AIエージェントが生成したコードが本番システムの新しいコマンドになりうるとき、そのコードのすべての行が攻撃対象面となる。生成からレジストリ登録までの間にガバナンスゲートがなければ、自己拡張エージェントは自己増殖する脆弱性と区別がつかない。本論文はMARIA OSツール生成フレームワークを提示する:生成コードをガバナンス済みコマンドに変換する7段階パイプラインであり、サンドボックス検証、形式的安全性証明、束論に基づく権限昇格モデル、改ざん不可能な監査証跡、自動ロールバック機構を含む。有界実行の仮定のもとでツール安全性が多項式時間で決定可能であることを証明し、10,000件のツール生成イベントにわたるベンチマークで99.7%の安全性コンプライアンスを12%のレイテンシオーバーヘッドで達成することを示す。中心的命題:自己拡張は危険ではない。ガバナンスなき自己拡張が危険なのだ。
tool-genesiscode-generationgovernanceself-extending-agentagentic-company