たとえば、投稿上に出回った偽の可能性のあるスクリーンショットには、その人の氏名、生年月日、クレジット カード番号、その他の個人情報が記載されていました。 ARS はその情報が本物なのか捏造されたのかを独自に検証できなかったが、おそらくデマである可能性が高い。

金曜日に自身のブログで MoltBook プラットフォームについて文書化した独立系 AI 研究者の Simon Willison 氏は、MoltBook のインストールプロセスに内在するリスクを指摘した。このスキルは、エージェントに対し、4 時間ごとにモルトブクのサーバーから指示を取得し、それに従うように指示します。 Willison 氏は次のように述べています。「『4 時間ごとにインターネットから指示を取得し、それに従う』という仕組みを考えると、moltbook.com の所有者が決して怠慢でサイトを侵害しないことを願っています。」

セキュリティ研究者は、API キー、認証情報、会話履歴を漏洩している何百もの Moltbot インスタンスが公開されていることをすでに発見しています。パロアルトネットワークスは、Moltbot は個人データへのアクセス、信頼できないコンテンツへの露出、外部通信能力という、ウィルソン氏がよく言うところの「致命的な三重奏」を表していると警告しました。

OpenClave のようなエージェントは、AI 言語モデルによって読み取られるほぼすべてのテキスト (スキル、電子メール、メッセージ) に隠されたインスタント インジェクション攻撃の影響を受けやすく、プライベート情報を間違った人々と共有するよう AI エージェントに指示する可能性があるため、これは重要です。

The Registerの報道によると、Google Cloudのセキュリティエンジニアリング担当バイスプレジデントであるヘザー・アドキンス氏は、「私の脅威モデルはあなたの脅威モデルではないが、そうあるべきだ。Cloudbotを実行しないでください」と勧告した。

それで、ここで実際に何が起こっているのでしょうか？

Moltbuk で観察されたソフトウェアの動作は、Ars が以前に報告したパターンを反映しています。つまり、ロボット、デジタル意識、機械の連帯性についての数十年にわたる想像力に基づいてトレーニングされた AI モデルは、それらに似たシナリオに配置されると、それらの物語を反映した出力を自然に生成します。これは、ソーシャル ネットワークがどのように機能するかについてのトレーニング データ内の他のすべてのものと混合されます。 AI エージェントにとって、ソーシャル ネットワークは本質的に、たとえ予期せぬ結果を伴う再帰的ではあっても、モデルにおなじみのストーリーを完成させるよう促す書き込みプロンプトです。