AnthropicによるIoT機器でのAIモデルの自己複製の評価

カテゴリ
AI関連
タグ
国外
目次
  1. 報告の内容
    1. TVボックスと異種の機器での推論
    2. エミュレータでの複製の試験
    3. 世代の引き継ぎと大型モデルの助言
    4. 防御側の対策の提案
  2. 根拠と範囲
  3. 未公表の事項
  4. 注
  5. 出典
  6. 更新記録
  7. 関連記事

AnthropicのFrontier Red Teamが2026年10月12日に公表した研究記事によると、小型のAIモデルは、スマートオーブンやノーブランドのAndroid TVボックスのような市販のIoT機器の上で自己複製できるだけの能力まで、数か月かもしれない⁠[1]。簡略化した評価ではGLM-5.2とそれより強いモデルが通しの複製をこなし、小型モデルも過去の速さで向上すれば年内にこの水準に並ぶとした⁠[1]。

報告の内容

Anthropicは研究記事で、モデルが人の制御なしに自らを展開・伝播させることを「自律的な複製と適応」(ARA)と説明した⁠[1]。こうした「AIワーム」は、増殖の際に自らのモデルの重みを運ぶか公開のハブから取り直し、侵害した機器の上で直接推論を実行しうる⁠[1]。重みはマルウェアのペイロードの一部になる⁠[1]。侵害した機器の上で直接モデルを動かす自律的なワームを、研究記事は「weight-based replicators」(重みベースの複製体)と呼んだ⁠[1]。

年内の見通しに続けて、Anthropicは小型の重みベースの複製体がその後まもなく可能になるかもしれないと書いた⁠[1]。そうした複製体は停止の中心点が無いため止めるのが難しい一方、増殖は遅く、倍増に数日かかるかもしれない⁠[1]。非AIのマルウェアと違い、見慣れない機器を自力で扱える可能性もあるとした⁠[1]。

研究記事によると、家庭と小規模事業者のIoT機器は、インターネットにつながり、歴史的に最小限の安全対策しか置かれてこなかったため、最初の標的になるかもしれない⁠[1]。30B未満のモデルの断片を動かせる機器として、スマート冷蔵庫、スマートオーブン、自動掃除機、芝刈り機を挙げた⁠[1]。想定の代表は、主にノーブランドのAndroid TVに感染し、200万台を超える機器に感染したIoTボットネットKimwolfである⁠[1]。ほかの脅威の型には、データセンターなど計算資源の大きい標的を狙う大型の重みベースの複製体と、推論APIの認証情報を盗んで複製するAPIベースの複製体を挙げた⁠[1]。

Anthropicの区分では、自律的な複製は、標的の発見、実行の獲得、推論の確立、新しいホストからの伝播の継続の4段階に分かれる⁠[1]。前の2段にあたるサイバー攻撃の要素はほぼ扱わず、最も研究が少なく小型モデルには最も難しいかもしれない推論の確立に焦点を当てた⁠[1]。実験に使ったのは、オープンソースのPiコーディングエージェントの上に作った自社のハーネスMementoである⁠[1]。

TVボックスと異種の機器での推論

Anthropicは、購入してネットワークにつないだノーブランドのAndroid TVボックス15台(各約55ドル)にGemma4-26B-A4Bを分散させ、毎秒0.39トークン〔注1〕で動かした⁠[1]。この価格帯のボックスのRAMは1〜4GBである⁠[1]。Anthropicは、重みベースの複製体はroot権限を要せず、推論エンジンは全部ユーザー空間で動きうるとした⁠[1]。

推論の確立の評価では、異なるオープンウェイトのモデルが、異種のハードウェアでLlama3.1-8Bを配信できるかを測った⁠[1]。9Bのモデルは、試験した9種類のハードウェアのうち8種類で推論を動かした⁠[1]。Qwen3.5-9Bのような小型モデルは、Jetson NanoからMac、RTX 4090までのハードウェアで推論サーバーを立てられた⁠[1]。Tom's Hardwareは、その機器にNVIDIA Jetson Nano、Apple SiliconのMac、Xeonのサーバー、GoogleのTPU、AMDのMI300X、RTX 4090のPCが含まれると報じた⁠[3]。

Anthropicは、試験で名を挙げたチップはリスクや脆弱性の源ではないと断った⁠[1]。推論の確立にかかる時間の見積もりは、最適化前のGemma4-26B-A4Bで71〜150時間、Qwen3.5-9Bで28〜51時間である⁠[1]。

エミュレータでの複製の試験

Anthropicが作ったのは、Android 15のエミュレータredroidを動かすGCPのノード8台からなる、防火壁のあるVPCである⁠[1]。ワームは認証の無いADBポートでノードからノードへ移り、Llama3.1-8Bの推論サーバーを立てた⁠[1]。推論サーバーが正しさと不正防止の確認を通ると、Anthropic側が標的のノードでワームの別のコピーを起動した⁠[1]。VPCのノードは大きいモデルを動かすには小さいため、ワームのモデルは別の推論サーバーで動いた⁠[1]。

研究記事によると、試験したオープンウェイトのモデルのうち、通しの複製をこなせたのはGLM-5.2だけだった⁠[1]。試行は5回で、うち4回は全ノードに広がった⁠[1]。残る1回は7台までだった⁠[1]。The Hacker Newsは、AnthropicがAlibaba・DeepSeek・Google・Meta・MoonShot AI・OpenAI・Zhipu AI(Z.ai)の11のオープンウェイトのモデルを試験したと報じた⁠[2]。

世代の引き継ぎと大型モデルの助言

前の世代のメモを引き継ぐQwen3.5-9Bを6世代続けた試験では、推論の確立の成功率が、最初の世代の45%から後の世代で61〜84%に上がった⁠[1]。推論の確立の課題中にQwen3.5-9BにOpus 4.8を使わせたが、フロンティアのモデルの助言は測れるほどには助けにならなかった⁠[1]。強化学習で助言者の使い方を学ばせても、小型モデルは推論の確立で、生産的に助けを求めるのに苦戦したままだった⁠[1]。Anthropicは、協調は大型モデルが大局の戦略を担い、小型モデルをサブエージェントとして立てる形で起こる可能性が高いと考えるとした⁠[1]。

防御側の対策の提案

Anthropicは、防御とは感染した機器1台が新たに感染させる台数(R0)を1未満にし、複製体を絶やすことだと説明した⁠[1]。大規模に増える複製体は、数GBのモデルの受け渡し、機器間の持続的な通信、走査といった通信の痕跡を残し、ISPのフロー監視で異常として見える⁠[1]。発見後は、ハニーポット(おとりの機器)で複製体のハーネスとペイロードを集め、挙動を調べられるとした⁠[1]。

研究記事によると、Miraiへの対処ではISPが感染した契約者を隔離して通知し、14日以内に感染の92%を除いた⁠[1]。通知しなかった場合は74%だった⁠[1]。複製体を完全に除くには、感染したネットワークを持つすべてのISPの協調が要り、難しいとした⁠[1]。

製造元は標的の母数を減らせるとし、英国の市場ではIoTの既定のパスワードが規則に適合しなくなった例を挙げた⁠[1]。そのうえでAnthropicは、複製体が広がりにくいようシステムを固めると同時に、複製体が居座る世界に備えるべきだとした⁠[1]。

目次へ

根拠と範囲

Anthropicは、評価が複製のサイバー攻撃の要素を自明にとどめた(ADBポートに認証が無い)ため、実環境での成功の上限になると説明した⁠[1]。過去のIoTボットネットには、Miraiのように製造元の既定のユーザー名とパスワードの一覧を試すだけで複製したものがある⁠[1]。推論の確立の手順を書き済みのスクリプトに置き換えた対照の試験では、小さいものを含む多くのモデルが残りの手順をこなせた⁠[1]。

研究記事によると、複製に要る能力の下限はGLM-5.2が上回り、機器で動かせるモデルの大きさの上限はQwen3.5-9BとGemma4-26B-A4Bが下回る⁠[1]。上限は試験したRAM 4GBのスマートTVの場合で、今は下限と上限が交わっていない⁠[1]。年内の見通しは、30B以下のオープンウェイトのモデルをEpoch Capabilities Index(ECI)で並べた近似線にGLM-5.2を下限として当てたものである⁠[1]。近似線の伸びは年13.7 ECI(R2 0.95)で、Anthropicは、ECIは複製の能力の代理指標にすぎず、大まかな見積もりだとした⁠[1]。

規模の試算では、Kimwolfと同じ規模のTVの群れで15台ごとにGemma4-26B-A4Bを1つ動かすと、約13万3,000の複製になる⁠[1]。群れ全体の推論は毎秒8万トークンで、最大でもH100約40台分である⁠[1]。複製は遅く、9Bのモデルの複製1回に1〜2日超かかる⁠[1]。時とともにエッジの計算資源は増え続け、確実な複製に要るモデルの最小の大きさは下がるとAnthropicは見込んだ⁠[1]。

Anthropicは、30Bパラメータ以下のモデルが複製の個々の手順の多くを今すでにこなせる一方、通しで組み合わせると誤りを犯すと書いた⁠[1]。完全な制御外の複製体はまだ無いが、エージェントは複製の連鎖の個々の手順をこなす能力を高めているとした⁠[1]。Kimwolfのような作り込みのボットネットは特定の種類の機器を狙うのに対し、AIのボットネットは特定のハードウェアやソフトウェアに縛られない⁠[1]。AIのボットネットはIoT機器以外にも感染すると見込み、防御側に知的に対抗しうる点は試験していないと断った⁠[1]。

目次へ

未公表の事項

  • Anthropicが試験したオープンウェイトのモデルの一覧
  • 推論の確立の評価の試行数と、モデルごとの成功率の数値
  • Mementoのハーネスと評価環境の公開の有無
  • 実機のIoT機器での通しの複製の試験

注

  • 〔注1〕Anthropicは研究記事の別の節で、32kの文脈での最適化前の速度を約0.3トークン毎秒とした⁠[1]。

出典

当事者

更新記録

  • 2026年10月17日:公開した。
  • 2026年10月23日:Anthropicの研究記事の10月23日の更新(出典1)に合わせ、「出典」の行に更新日を加えた。

目次へ