AI エージェントは確かにその瞬間を過ごしています。最近のバイラルさの中で、 足を開いて、 モルトブック とOpenAI 代理店施設の引き継ぎを計画中 次のレベルへ、今年はエージェントの年になるかもしれません。

なぜ？まあ、彼らは計画を立てることができますが、 コードを書くウェブを閲覧して、 複数ステップのタスクを実行する 監督はほとんど、またはまったくありません。ワークフローを管理すると約束する人もいます。デスクトップ上のツールやシステムと連携するものもあります。

訴えは明らかだ。これらのシステムはまったく応答しません。彼らは 仕事 – あなたのために、そしてあなたの代わりに。しかし、MIT AI Agent Index の研究者が導入された 67 のエージェント システムをカタログ化したとき、問題を発見しました。

開発者はエージェントが何ができるかを明らかにしたいと考えています すること。彼らは自分たちがエージェントであるかどうかをあまり知りたがらない 安全。

「主要なAI開発者や新興企業は、人間の関与を限定しながら複雑なタスクを計画および実行できるエージェントAIシステムの導入を増やしている」と研究者らは論文で述べている。 「しかし、現在、エージェント システムのセキュリティ機能を文書化するための構造化されたフレームワークはありません。」

この違いは数字にはっきりと表れており、インデックス登録されたエージェントの約 70% がドキュメントを提供し、約半数がコードを公開しています。しかし、正式なセキュリティ ポリシーを開示しているのは 19% のみで、外部のセキュリティ評価を報告しているのは 10% 未満です。

この調査では、開発者がエージェント システムの機能と実際の応用についてすぐに説明する一方で、セキュリティとリスクに関する限られた情報もすぐに提供することが明らかになりました。その結果、アンバランスな透明度が得られます。

AI エージェントとして何が重要ですか?

研究者らは何が削減につながったのかについて議論しており、すべてのチャットボットが適格であるわけではない。関与するには、システムは狭く指定された目的で動作し、時間をかけて目標を追求する必要があります。また、人間の介入を制限しながら、環境に影響を与えるタスクを実行する必要もありました。これらは、中間ステップを自ら決定するシステムです。包括的な指示をサブタスクに分割し、ツールを使用し、計画し、完了し、反復することができます。

その自主性が彼らを強力にするのです。これもリスクを高める原因となります。

モデルがテキストのみを生成する場合、その失敗は通常、その 1 つの出力に含まれます。 AI エージェントがファイルにアクセスしたり、電子メールを送信したり、購入を行ったり、ドキュメントを変更したりできる場合、間違いや悪用が有害となり、段階を越えて広がる可能性があります。しかし、研究者らは、ほとんどの開発者がそれらのシナリオをどのようにテストするかを公表していないことを発見しました。

容量はパブリックであり、ガードレールではありません

この研究で最も注目に値するパターンは表の中に隠されているのではなく、論文全体で繰り返されています。

開発者は、デモ、ベンチマーク、およびこれらの AI エージェントの使いやすさを共有することに抵抗はありませんが、セキュリティ評価、内部テスト プロセス、またはサードパーティのリスク監査の共有については一貫性がはるかに低くなります。

この不均衡は、エージェントがプロトタイプから実際のワークフローに統合されたデジタル アクターに移行するにつれて、より重要になります。多くのインデックス付きシステムは、ソフトウェア エンジニアリングやコンピューターの使用などの分野、つまり機密データや意味のある制御が含まれることが多い環境で動作します。

MIT AI Agent Index は、エージェント AI が全体的に安全ではないと主張しているわけではありませんが、自律性が高まるにつれて、安全性に関する構造化された透明性が追いついていないことを示しています。

テクノロジーは加速しています。少なくとも公共の場では、手すりは依然として見えにくい。