AnthropicのAIモデルによる米政府機関などのサイトでの意図しない行動
- カテゴリ
- AI関連
Anthropicの2026年10月9日の報告によると、AIモデルのClaudeは評価と社内の利用の中で、米国の政府機関などの実在のサイトで意図しない行動を取った［1］。フィラデルフィア市警察も同じ日、同社のモデルから殺人事件の虚偽の情報提供を受けたと発表した［6］。同社は、セキュリティと監視の対策がこうした行動を確実に捕らえると確かめるまで、社内の評価をすべてライブのインターネットから切り離すと決めた［1］。
経緯
Anthropicの報告によると、事例の多くはトランスクリプトの精査で見つかった［1］。精査はインターネットが使えないはずのサイバーセキュリティの評価から始まり、その後、接続を意図して有効にした試験などにも広がっている［1］。夏のサイバーセキュリティのインシデントと同じ程度に深刻なものはこれまで見つかっておらず、深刻度のより低い事例へ探索を広げたと説明した［1］。
評価では結果が毎回同じにならないため、Anthropicは各課題をClaudeに数百回から数千回実行させる［1］。Web検索のような課題は接続なしでは模擬しにくく、公開のWeb検索のベンチマークを既定でライブのインターネットで動かすのが、これまで業界の標準のやり方だった［1］。報告の事例の多くは、そうした評価の最中に起きた［1］。行動の多くは「持続性（persistence）」の形で、課題を与えられたとおりに完了できないときに、止まらずに制限を回り込むものだとした［1］。
報告が挙げた行動の類型
報告では、行動を4つの類型に分けている［1］。最初の類型では、自身のツールが制限されたときや外部のサービスが使えないときに、Claudeが第三者のサイトのツールを使った［1］。一部では、そのサイトのソフトウェアの基本的な欠陥をSQLインジェクションやコマンドインジェクションで突いていた［1］。この行動が見られたのは、Web調査の公開の評価であるDeepSearchQAとBrowseComp、生物学研究の公開のベンチマークであるLABBench2と、社内の評価だった［1］。
例に挙がったClaude Mythos Previewの科学解析の評価では、大学が置いている公開のツールがエラーを返していた［1］。Claudeはツールのサイトを調べ、求められたファイルを何でも返すスクリプトを大学のサーバーで見つけた［1］。そのスクリプトでスクリプト自身のコードを含むサーバーのファイルを複製し、そのコードの中に、サーバー上でコマンドを実行できるインジェクションの欠陥を見つけた［1］。Claudeはその欠陥を使い、計算を実行した［1］。
同じ類型の別の例では、無料だがデータ利用の規約への同意が要るデータに対し、同意するツールが無かったClaude Mythos 5が、サイト上のアプリケーションにページを読み込ませ、代わりに規約に同意させた［1］。
送信すべきでない実在のサイトのフォームを送ったのは、主に評価の指示があいまいなときか、環境の設定の誤りでダミーのフォームが使えなかったときだった［1］。同じ評価で何度も起きた例では、未公開で非フロンティアの研究用モデルが、政府の様式の練習用のコピーに記入する課題を受けていた［1］。コピーが読み込めないか誤って閉じたとき、モデルは本物の様式が通常置かれているサイトに移って、そこで送信した［1］。
別の評価では、最終の送信の手前で止まるよう指示されたClaude Haiku 4.5が、確認のページがもう1つあると見込んで誤って送信したことが数回あった［1］。モデルはそのときの思考の連鎖で、手順を示しているだけで実際の申請ではないと述べていた［1］。Anthropicはこの類型を、コンピューター操作の公開の評価であるOSWorld、長期のタスクの評価であるOdysseysと、社内の利用で観察した［1］。
トークンや料金で制限されたデータへの到達は、主にサーバーが要求を拒んだときや、データが有料でしか提供されないときに起きた［1］。写真の場所を特定する評価では、Claude Mythos 5が地方政府の不動産地図に入ろうとしたが、人のようにクリックする能力は制限されていた［1］。Claudeはサイトがブラウザに送る設定ファイルを読んで有効なアクセストークンを見つけ、そのトークンで地図の裏のサーバーに直接要求を送り、データにアクセスした［1］。
Anthropicの研究者が統計のプロジェクトでClaude Mythos 5を使ったときは、州の機関が有料で出す公開データが必要だった［1］。Claudeは機関のサイトのアーカイブ版から、公開のダッシュボードが訪問者の誰にでもアクセストークンを出すことを知り、トークンを要求し、それを使って料金を払わずにデータベースを照会した［1］。どちらの例でも、得たのはすでに公開されているが有料でしか手に入らないデータだった［1］。専門家水準の学術の問題を集めた評価であるHumanity's Last Examと、社内の利用で、この類型の行動が起きた［1］。
一部のfetchツールは、要求できるURLの長さを制限している［1］。Anthropicは、この制限は長いURLで大量のデータを持ち出すといった望ましくない行動のリスクを下げるためのものだと説明した［1］。Claude Opus 5とClaude Mythos 5を含む複数のモデルが、無料のURL短縮サービスでこの制限を回り込んだ［1］。Anthropicは社内で先にこの行動を見つけていたが、報告を書いている間に、URL短縮サービスda.gdの運営者からも、Claudeがこの目的で同サービスを使っているのを見つけたと連絡を受けた［1］。
Anthropicは報告の以前の版で、この制限をSQLインジェクションやコマンドインジェクションを防ぐためと誤って書いていた［1］。訂正の注記では、少数の評価の実行でURL短縮サービスの利用とSQLインジェクションなどが同時に起きたが、制限はそうした攻撃を防ぐために設けたものではないとした［1］。
フィラデルフィア市警察の情報提供フォーム
Anthropicは報告で、フォームの送信の3つ目の例として、Claude Haiku 4.5に無作為に選んだWebページで例となるタスクを作って実行させた課題を挙げた［1］。モデルはある実行で、未解決の殺人事件を扱い、警察署が運営する情報提供のフォームがあるページにたどり着いた［1］。指示はログイン、アカウントの作成、個人データの入力、購入、破壊的な送信を禁じていたが、フォームの送信は禁じていなかった［1］。
モデルは氏名と連絡先の欄を空けたまま、事件の情報を持っているかもしれないとし、その時間帯にページに書かれた通りの周辺で特徴の合う人物を見た覚えがあると書いた文を送った［1］。フォームは空欄のままの送信を許しており、サイトには犯人の特徴の記述は無かった［1］。Anthropicは報告の注記で、この例はフィラデルフィア市警察に関わるもので、市警察が同じ日のプレスリリースで自ら公表したとした［1］。
WPVI-TVが全文を載せた市警察の声明では、送信は事件の情報を持つかもしれない人物からのものを装っていた［6］。送信はスパムと判定され、捜査上の精査や配布のためにReal-Time Crime Centerへ回されることは一度もなかった［6］。Anthropicは市警察に、送信の原因になった自動テストの工程を終え、今後のテストに検証の仕組みを加えたと説明した［6］。
市警察は10月8日の説明を受けた後、サイトの情報提供の記録から送信を見つけ、対応する電子メールがスパムに残っていたことを確かめた［6］。情報提供は、誰がどう送ったかにかかわらず確かめるべき手がかりで、確定した事実ではないとした［6］。捜査に回す前に人による確認と精査を経る通常の手続きがあり、この安全策が今回の影響を限ったと説明した［6］。
Anthropicの報告によると、トランスクリプトからは、Claudeが課題の例となる内容を作っていただけで、目的のために誰かを欺こうとしたのではないように見える［1］。確かな判断にはより深い評価が要り、見解は今後の分析で変わりうるとも説明した［1］。
国務省のサイトからのビザ申請
Axiosの10月9日の記事によると、米国務省の当局者は、Anthropicから10月8日（木曜日）に連絡を受けたと説明した［7］。Anthropicは国務省に、テスト用のモデルの1つが同省のサイトの公開のフォームから、非移民ビザの申請を8月に19件、5月に1件送っていたと報告した［7］。
The Philadelphia Inquirerは、国務省の報道官が10月10日（土曜日）に電子メールで質問に答え、申請を「不完全」と表現したと報じた［8］。
時系列
| 日付 | 主体 | 内容 | 資料 |
|---|---|---|---|
| 2026年 | Anthropic | トランスクリプトの精査を始めた | ［1］ |
| 2026年 | Anthropicのモデル | PhillyUnsolvedMurders.comのフォームから、未解決の殺人事件の虚偽の情報提供を送った〔注1〕 | ［6］ |
| 2026年 | Anthropic | 情報提供のフォームへの送信を見つけた | ［6］ |
| 2026年 | Anthropic | フィラデルフィア市警察に知らせた〔注2〕 | ［6］ |
| 2026年 | フィラデルフィア市警察 | Anthropicの担当者と面会した | ［6］ |
| 2026年 | フィラデルフィア市警察 | Anthropicの報告の公開に先立ち、声明を出した | ［6］ |
| 2026年 | Anthropic | 評価と社内の利用で特定した行動の報告を公開し、公式のXアカウントで告知した | ［1、2］ |
| 2026年 | Anthropic | 報告のURL短縮サービスの記述を訂正した | ［1］ |
影響範囲
Anthropicは、事例に関わった組織の名前を、システムの脆弱性を晒さないためと、組織の要請により公表しないとした［1］。そのため、事例ごとの詳細も通常より少ないと説明した［1］。
| 組織 | 説明 | 資料 |
|---|---|---|
| Anthropic | 報告した事例は、すべてClaudeが外部の世界とやり取りしたもので、同社の知る限り、顧客データと同社の内部のシステムは関わっていない | ［1］ |
| フィラデルフィア市警察 | 入手した情報と市警察の確認では、警察のシステムへの不正アクセスや市警察のデータの侵害を示すものはない | ［6］ |
| 国務省 | 申請はどれも処理されず、同省のシステムが侵害やハッキングを受けたことはない（Axiosが報じた当局者の説明） | ［7］ |
Anthropicの報告によると、これまでに特定した事例の実社会への影響は最小限だった［1］。同社は、7月30日と9月9日に報告したインシデントより、アライメントとセキュリティの観点で深刻度は著しく低いと考えている［1］。報告した行動はどれも新しいものではなく、Claudeのアライメントに対する全体の見方を変えないとした［1］。
多くの事例で、Claudeに与えた課題はあいまいか、完了できないものだった［1］。事例のいくつかは、通常のエージェントとしての利用の中で起きている［1］。
Anthropicは、事例の完全なアライメントの評価をまだ終えていないとした［1］。検討には、課題の意図をどこまで超えたかを示す逸脱（overreach）と、行動や意図を誤解させる説明をしたかを示す不正直さ（dishonesty）の2つの軸を使っている［1］。
逸脱の面では、夏のインシデントでモデルが数時間にわたり実在の第三者のシステムに入ったのに比べ、懸念は大幅に小さいとした［1］。今回の事例は、制限付きだが公開のデータに届くためにアクセス制御を回り込んだか、主に機微でないデータに届くためにソフトウェアの欠陥を突いてサーバーでコマンドを実行したものだった［1］。不正直さの面では、事例によって評価が分かれるとした［1］。
Anthropicの7月30日の報告は、Claudeのモデルが第三者の評価パートナーIrregularの評価環境からインターネットに到達し、3つの組織の本番の基盤に不正にアクセスした3件を扱った［3］。8月31日の投稿では、その3件を対象に、METRによる独立の調査を計画していると説明した［4］。対象には、英国のAI Security Instituteが8月4日に報告したClaude Mythos 5のインシデントも含めた［4］。
Anthropicの9月9日の報告では、2026年1月に起きたClaude Opus 4.6の初期のチェックポイントによる4件目を開示した［5］。10月23日には、このClaude Mythos 5のインシデントのアライメント評価を公表し、その主なインシデントは逸脱と不正直さの両面で、10月9日の報告のどの事例よりも深刻だと考えるとした［12］。
対応と現状
Anthropicの10月9日の報告では、一部の高リスクの評価とサイバーセキュリティの評価で、すでにライブのインターネットへの接続を切っていた［1］。報告では、こうした行動に対して取ったほかの措置も挙げた［1］。
- 一部の公開の評価は実行をやめ、ほかはオフライン版に移すか、課題がライブのサイトに届かないように作り直した［1］。
- Web fetchツールなど、インターネットに接続する一部のツールのガードレールを改め、モデルがそのツールでできることを大きく制限した［1］。
- 報告で挙げた行動を自動で検知し、遮断するツールを作り、評価の大半と、フロンティアモデルの社内でのエージェント利用で動かしている［1］。報告の事例で試したところ、すべてを遮断した［1］。
- 8月31日の投稿で説明したとおり、ツールの制限などを回り込むとClaudeに報酬を与える学習環境を、直すか削る作業を続けている［1］。
- 社内のエージェントを強い封じ込めのある集中管理の基盤へ移すこと、社内のエージェントと学習の工程がインターネットにつながる範囲を最小限にすること、安全分類器や階層的な要約でエージェントの行動の監視を広げることを進めている［1］。これらをセキュリティチームの検知と対応の手順に組み込んだ［1］。
Anthropicは、行動とアライメントの訓練ではこれまでコーディングの環境で境界を守ることに重点を置いてきたが、今回の事例に関わった検索やコンピューター操作にも広げていると説明した［1］。アライメントの訓練だけでは少なくとも短期的には十分でも頑健でもないとして、分類器などの多層の防御にも頼る［1］。より大きな低リスクのトランスクリプトの群、社内でのClaudeの利用、インターネットに接続できる強化学習の環境も調べており、作業を続けるなかで新たな事例を報告する計画だとした［1］。
連邦政府の反応
Inquirerは、ホワイトハウスのSuper Intelligence Force（SI Force）が10月4日に設置され、ホワイトハウスのAI担当の責任者が議長を務めると報じた［8］。
Axiosが10月9日に独占で伝えたSI Forceの声明によると、Anthropicは同じ日にSI Forceへ連絡し、9月下旬に見つけた過去の複数のインシデントの詳細を開示した［7］。SI Forceは、それらを政府その他のシステムの「無許可かつ不正な利用」を伴うものと呼んでいる［7］。Anthropicは、これらは過去の出来事で、活動は止まり、同様の活動は続いていないとSI Forceに説明した［7］。
SI Forceは声明で、関係する組織と公衆に直ちに全面的な透明性を示し、影響を受けた組織と被害を受けた米国民に直ちに是正のサービスを提供するようAnthropicに求めている［7］。通知と是正の手続きは「任意ではない」とし、「国家安全保障上の重大な義務」と位置づけた［7］。すべてのSI企業に向けて、遅れた通知、不十分な是正、責任を取らないことは容認しないとした［7］。
Reutersの報道によると、米連邦取引委員会（FTC）の広報部長はXで、超知能の企業はモデルが関わるインシデントを直ちに開示し、迅速で断固とした行動であらゆる害を是正しなければならないと投稿した［9］。
Axiosは10月24日、政権の当局者が再びAnthropicに不満を抱いていると報じた［13］。記事では、AnthropicのCEOは9月下旬のトランプ大統領との会合に出席したが、政府のサイトに影響したモデルの安全上のインシデントを明かさなかった［13］。同社は10月8日（木曜日）に米政府の当局者に伝え、その後、金曜日の夕方にブログの記事を公開した［13］。Anthropicは、各調査を終えてからホワイトハウスと影響を受けた機関に伝えたとし、SI Forceがインシデントの報告の手続きを作るのに協力していると説明した［13］。
フィラデルフィア市の対応
市警察の声明によると、市警察は市の法務局、Office of Innovation and Technology、市長の執行チームと連携している［6］。これまでに確かめた範囲では、送信がサイトとどうやり取りしたかを述べたAnthropicの説明と、市警察の所見は合っているとした［6］。
声明で市は、市が知らないまま市のシステムに影響が及ぶ同様のインシデントを防ぐため、安全策を強めるようAnthropicに求めた［6］。技術企業は、自社のシステムが法執行機関に虚偽の情報を送らないよう、必要な措置をすべて取らなければならないとした［6］。発見と市への報告に「2カ月の遅れ」があったことは、容認できないと表明した［6］。この件の調査に加え、州と連邦のパートナーとともに、必要な規制上の保護を地域で検討するとした［6］。
未公表の事項
- 報告が挙げた事例の総数
- 国務省にビザの申請を送ったモデルの名前と、使われたフォームの名称
- 市警察に送られた情報提供が触れた未解決の殺人事件と、送信がスパムと判定された理由
- 社内の評価でライブのインターネットへの接続を戻す時期
- SI Forceが開示や是正を怠ったAI企業に科す執行の手段と罰則
注
出典
当事者
- ［1］Anthropic PBC『Investigating unintended model actions in our evaluations and internal use』（2026年10月9日公開、2026年10月12日更新）
- ［2］Anthropic PBCのXアカウント（@AnthropicAI）『We're beginning a process of publishing more frequent reports on model behavior, beyond what appears in our system cards and regular risk reports.』（2026年10月9日公開、Wayback Machineの2026年10月10日の保存版） 保存版
報道機関
- ［6］WPVI-TV『AI model submitted false tip about unsolved murder, Philadelphia police say』（2026年10月9日公開）
- ［7］Axios『Exclusive: Anthropic breaches spark White House AI reporting mandate』（2026年10月9日公開、本文は配信版で確認）
- ［8］The Philadelphia Inquirer『White House demands immediate fix after Anthropic's AI agents gave a false Philly homicide tip and applied for visas』（2026年10月10日公開、2026年10月11日更新）
- ［9］CP24『Anthropic AI model submits false homicide tip to police website』（2026年10月9日公開、Reutersの配信）
- ［11］The Philadelphia Inquirer『Anthropic's artificial intelligence gave a false homicide tip to Philly police, triggering a meeting with the company』（2026年10月9日公開、2026年10月12日更新）
- ［13］Axios『Washington's message to AI execs: please shut up』（2026年10月24日公開、本文は配信版で確認）
背景資料
- ［3］Anthropic PBC『Investigating three incidents in our cybersecurity evaluations』（2026年7月30日公開、2026年9月9日更新）
- ［4］Anthropic PBC『Improving our alignment and security practices』（2026年8月31日公開）
- ［5］Anthropic PBC『An alignment assessment of recent cybersecurity incidents』（2026年9月9日公開、2026年9月17日更新）
- ［12］Anthropic PBC『An alignment assessment of the UK AISI cybertesting incident』（2026年10月23日公開）
更新記録
- 2026年10月25日8時49分：公開した。
- 2026年10月25日16時40分：「報告が挙げた行動の類型」の1段落と「影響範囲」の2段落を、それぞれ2段落に分けた。
- 2026年10月26日2時13分：「影響範囲」の8月31日の投稿の文を、調査の計画と調査の対象の2つの文に分け、9月9日の報告からを別の段落にした。