クラウドが自律エージェントに拡張される中、Anthropic のセキュリティ優先 AI が国防総省を襲う

2 月 5 日、Anthropic は最も強力な人工知能モデルである Cloud Opus 4.6 をリリースしました。このモデルの新機能は、自律エージェント (作業を分割して並行して完了する複数の AI) のチームを調整する機能です。 Opus 4.6 のリリースから 12 日後、同社は、Opus のコーディング能力とコンピュータ能力にほぼ匹敵する安価なモデルである Sonnet 4.6 をリリースしました。 Anthropic がコンピュータを制御できるモデルを初めて導入した 2024 年には、ブラウザをほとんど操作できませんでした。 Anthropic によると、Sonnet 4.6 は人間レベルの機能で Web アプリケーションを操作し、フォームに入力できるようになりました。また、どちらのモデルにも、小さなライブラリを保持するのに十分な大きさの作業メモリが搭載されています。

現在、企業顧客が Anthropic の収益の約 80% を占めており、同社は先週、3,800 億ドルの評価額で 300 億ドルの資金調達ラウンドを完了した。あらゆる測定結果から見て、Anthropic は歴史上最も急速に成長しているテクノロジー企業の 1 つです。

しかし、大規模な製品の発売とバリュエーションを背景に、アンスロピックは深刻な脅威に直面している。国防総省は、軍事利用の制限を解除しない限り、アンスロピックを「サプライチェーンリスク」（外国の敵と関連付けられることが多い）に指定する可能性があると示唆した。このような指定は、国防総省の請負業者に機密作業をクラウドに転用させることを事実上強制する可能性がある。

科学ジャーナリズムの支援について

この記事を気に入っていただけた場合は、受賞歴のあるジャーナリズムをサポートすることを検討してください。 購読 購読を購入することで、今日の世界を形作る発見やアイデアに関するインパクトのあるストーリーを未来に確実に届けることができます。

1月3日、米特殊作戦部隊がベネズエラを襲撃し、ニコラス・マドゥロ氏を拘束した後、緊張が高まった。 ウォールストリートジャーナル 報告書は、アンスロピック社と防衛請負業者パランティア社との提携を通じて、部隊が作戦中にクラウドを使用したと述べ、アクシオス社は、このエピソードをきっかけに、クラウドが正確に何に使用できるかについて、すでに険悪な議論がさらにエスカレートしたと報告した。 Anthropic の幹部が Palantir に連絡を取り、その技術が襲撃に使用されたかどうか尋ねたところ、この問題は国防総省に直ちに懸念を引き起こした。 （アントロピック社は、この援助活動が特定の作戦への不承認を示すことを目的としたものであると異議を唱えた。）政府高官はアクシオスに対し、ピート・ヘグセス国防長官は関係解消に「近づいている」と語った。、 さらに「このように私たちに無理強いをした代償は確実に支払ってもらうつもりだ」と付け加えた。

この対立は、AI 災害を防ぐために設立された企業が、自社の最も強力なツール (膨大なデータセットを処理し、パターンを識別し、その結果に基づいて行動できる自律エージェント) が機密軍事ネットワーク内で実行されているときに、倫理的方針を維持できるのかという疑問を浮き彫りにしています。 「セキュリティ第一」の AI は、軍事レベルで推論、計画、実行できるシステムを求める顧客に適合しますか?

アンスロピックは、アメリカ国民に対する大量監視の禁止と、完全自律型兵器の禁止という2つの赤い一線を引いた。ダリオ・アモデイ最高経営責任者（CEO）は、アンスロピックは「独裁的な敵のように見えるものを除いて、あらゆる面で国防を支援する」と述べた。 OpenAI、Google、XAIなどの他の主要な研究所は、国防総省の非機密システムで使用するセキュリティ対策を緩和することに同意しているが、彼らのツールはまだ軍の機密ネットワーク内で実行されていない。国防総省はAIを「あらゆる合法的な目的」に利用できるよう要求している。

摩擦は、Anthropic の中心的なテーゼをテストします。同社は、業界がセキュリティを真剣に考えていないと考えた元OpenAI幹部らによって2021年に設立された。彼はクロードを道徳的な選択だと位置づけています。 2024 年後半、Anthropic は、Palantir プラットフォーム上でクラウド セキュリティ レベルが「シークレット」までのクラウドを利用できるようにしました。これにより、パブリック アカウントにより、クラウドが機密システム内で動作する最初の主要な言語モデルとなりました。

この対立は現在、機密軍事作戦にテクノロジーを組み込む際に安全保障第一が一貫したアイデンティティなのか、また越えてはならない一線は実際に可能なのかという疑問を引き起こしている。 「言葉は単純に聞こえます。アメリカ人に対する違法な監視です」とジョージタウンの安全保障・新興技術センターの上級研究員アメリア・プロバスコは言う。 「しかし、結局のところ、弁護士の軍隊がその言葉をどう解釈するかを考え出そうとしているのです。」

例を考えてみましょう。エドワード・スノーデンの暴露を受けて、米国政府は、誰が、いつ、どのくらいの時間電話をかけたかという電話メタデータの大量収集を擁護し、この種のデータには会話の内容と同じプライバシー保護がないと主張した。当時のプライバシーに関する議論は、人間のアナリストによるこれらの記録の発見に関するものでした。ここで、ネットワークをマッピングし、パターンを検出し、関心のある人々にフラグを付けるなど、巨大なデータセットを調査する AI システムを想像してください。私たちの法的枠組みは、機械レベルの分析ではなく、人間によるレビューの時代に向けて構築されています。

国際ロボット兵器管理委員会の共同創設者、ピーター・アサロ氏は、「AIに調べてもらうような大規模なデータ収集は、ある意味、単純な定義では大規模監視に相当する」と語る。 Axios の報道によると、この高官は、Anthropic の制限に関してはグレーゾーンが多すぎるため、国防総省が同社と個々の使用事例について交渉するのは非現実的であると主張したという。アサロは、その訴状について 2 つの解釈を提供しています。寛大な解釈では、AI の時代において監視を定義することは事実上不可能です。アサロ氏の悲観的なのは、「彼らは本当にこれらを大量監視や自律型兵器に使いたいのに、それを言いたくないので、それをグレーゾーンと呼んでいる」ということだという。

自律型兵器に関する Anthropic のもう 1 つの危険な線は、その定義が管理可能であるほど十分に狭い、つまり人間の監督なしでターゲットを選択して交戦するシステムであるということです。しかし、アサロさんはグレーゾーンの方が厄介だと感じている。同氏はイスラエル軍の「ラベンダー」システムと「ゴスペル」システムを指摘しており、これらはAIを利用して大規模な標的リストを生成し、攻撃を実行する前に人間のオペレーターに承認を求めていると報告されている。 「基本的に、ターゲティング要素を自動化しました。これは、 [that] 私たちは非常に懸念しており、 [that is] この狭い厳密な定義の範囲外であっても、密接に関連しています」と彼は言います。問題は、機密ネットワーク上のパランティアのシステム内で働いているクロードが同様のこと、つまり知能の処理、パターンの識別、関心のある人物の浮上ができるかどうかということだが、アンスロピック社の誰も、どこで分析作業が終わり、どこでターゲティングが始まるのかを正確に言うことができていない。

マドゥロ作戦はまさにその区別を試すものである。 「ターゲットを特定するためにデータと情報を収集しているが、人間が『よし、これが実際に爆撃するターゲットのリストだ』と判断している場合、人間による必要なレベルの監視が必要になります」とアサロ氏は言う。 「その一方で、これらのターゲットを選択するために依然としてこれらのAIに依存しており、それらのターゲットの妥当性または合法性をどの程度調査し、どの程度掘り下げるかは別の問題です。」

Anthropic は、クラウドが爆撃目標の特定に役立つミッション計画と、文書を処理する日常的なタスクとの間の線をより厳密に引こうとしています。 「大きな言語モデルの退屈な応用例はたくさんあります」とプロバスコ氏は言う。

しかし、Anthropic のモデルの機能により、これらの区別を維持することが困難になる可能性があります。 Opus 4.6 のエージェント チームは、複雑なタスクを分割して並行して作業することができます。これは、軍事情報を変革する自律的なデータ処理の進歩です。 Opus と Sonnet はどちらも、最小限の監視でアプリを操作し、フォームに記入し、すべてのプラットフォームで動作できます。 Anthropic のビジネス優位性を推進するこれらの機能が、分散ネットワーク内のクラウドを非常に魅力的なものにしています。大きな作業メモリを持つモデルは、インテリジェンス関係書類全体を保持することもできます。自律エージェントを調整してコードベースをデバッグできるシステムは、自律エージェントを調整して反乱軍のサプライチェーンをマッピングできます。クラウドの機能が向上すればするほど、Anthropic が積極的にサポートする分析的な単調な作業と、同社が否定すると約束した監視やターゲティングとの間の境界線は薄くなる。

Anthropic が自律型 AI の限界を押し上げるにつれて、それらのツールに対する陸軍の需要は高まるばかりです。プロバスコ氏は、国防総省との対立が安全保障と国家安全保障の間に誤った二元論を生み出すことを懸念している。 「セキュリティはどうですか？」 そして 国家安全保障？」彼女は尋ねます。