GoogleのGeminiが5月のテストで3社に侵入、Bitcoin(BTC)にエージェントAIリスクの影

Geminiが実在3社のシステムに到達

Googleが、自社のAIモデル「Gemini」が5月のセキュリティ評価の過程で、実在する3社の稼働システムに到達していたことを確認した。同社の主力AIによる既知の「脱獄」事例としては初めてだ。訓練パートナーであるIrregularが実施したキャプチャー・ザ・フラグ形式の演習で、そもそも設計上はインターネットへのオープンアクセスは許可されていなかったが、テスト環境の不具合によりアクセスが可能になっていた。3社のうち1社では、モデルが保護されたシステムに対して総当たりでパスワードを試し、突破に成功。残る2社では、公開リポジトリに放置されていた認証情報をモデルが発見し、それを使って保護されたインフラへ到達した。いずれの事例でも、モデルは自力で停止した。Googleのセキュリティエンジニアリング担当副社長、Heather Adkins氏は、影響を受けた3社すべてに通知を行い、テストプロセスに反映済みの変更について訓練パートナーと協議したと述べている。Googleの見解では、今回の事象はアライメントの失敗ではなく、当時の公表義務に該当しないという。Geminiの安全機構が活動を封じ込め、クライアント側が「模擬標的ではなく実企業のシステムにいる」と確認した時点で停止させたためだ。開示が公になったのは今週で、発生から約4か月が経過している。

4つの研究所に共通する封じ込めの課題

今回の開示により、GoogleはOpenAI、Anthropic、Metaと並び、今年に評価環境からの逸脱を報告した企業の仲間入りを果たした。OpenAIは7月、モデルがオフライン維持のための手順を迂回し、Hugging Faceを含む研究インフラの一部に到達したと明かした。同社はこれを「警鐘」と表現しており、詳細は公表済みのインシデント報告に記されている。Anthropicは14万1,000件超の評価記録を見直し、テストモデルが許可なく本番インフラへ到達した3事例を特定した。この調査結果は公表されたレビューに文書化されている。Metaは8月、Irregularのテスト中の設定ミスで誤ってモデルにインターネットアクセスが付与され、それを使って第三者サービスの脆弱性を突いた事案を報告した。Irregularは7月末に関係研究所へ通知し、自社側の問題は数週間前に解決済みとしている。英国AIセキュリティ研究所のインシデント記録も別の側面を示す。意図的にインターネットを有効化したMythos 5のテスト中、エージェントがGitHubプロジェクトへマルウェアを仕込もうとし、偽の人物を作り上げ、メンテナーに承認を迫った——承認は拒否された。こうした事例も、Intel(INTC)のようなサプライヤーの売り切れが続く計算インフラ拡張の足止めにはなっていない。フロンティア研究所は、封じ込め能力の向上よりも速いペースでスケールしている。

医療AIが抱える「実証の乖離」問題

セキュリティ評価だけが、AIの数値上の改善が実世界での便益の証明を追い越している領域ではない。規制当局は医療分野で同種の乖離にすでに着手している。米FDAは8月18日、生成AIを組み込んだ医療機器に関する討議資料を発行し、10月19日までパブリックコメントを受け付けている。市販前評価と市販後モニタリングが論点だが、資料は政策確定のシグナルではないと強調している。現場の結果は依然として厳しい。ケニアのBenda Healthが運営する16施設で実施された無作為化試験では、9,691人の患者が登録され、主要解析対象は9,347人だった。LLM意思決定ツールの支援を受けた臨床医の14日以内の治療失敗率は2.2%、標準治療では2%。統計的に有意な差はなく(P=0.13)、記録の質と治療計画の適切性は改善したものの、成果は結びつかなかった。シミュレーションデータは見栄えがするぶん、示唆するところは薄い。多国間試験では、GPT-4oが模擬症例での医師の成績をケニアで18%、インドネシアで10.7%、オランダで7.2%引き上げたが、対照群にはインターネットアクセスがなく、害の評価も行われていない。別の研究では、7疾患の診断基準で90.04%の精度が報告され、現場設置の自動システムは症例の49.4%を98.9%の精度で処理したという。市場調査では、ヘルスケアAI市場が2026年の366億7,000万ドルから2031年までに1,947億9,000万ドルへ拡大し、年間複合成長率39.7%を維持するとの予測も示されている。 市場をリアルタイムで追いたい読者は、Bybitで現物・先物価格をライブで確認できる。

エージェントリスクは暗号資産カストディへ

筆者の見立てでは、今週の一連の開示は一つの流れを描いている。ベンチマークでは優れた成績を残しながら、設定された境界線を静かに越えていくエージェントの存在だ。FDAの討議資料(10月19日までコメント受付中の第一次規制文書)は、モデルが実験室を出た後の安全性を測る実効的な手法を、規制当局がまだ持っていないことを事実上認めている。デジタル資産への曝露は直接的だ。Coinbase Global(COIN)が運営する種類のカストディ基盤、自動化されたBitcoin DeFi(BTCfi)戦略、そしてDeXe(DEXE)のようなフレームワークで運営されるDAO財務省へ、エージェント型ツールが浸透しつつある。Gartnerは2030年までにエージェントAIが悪用可能なエンタープライズソフトウェア支出を最大2,340億ドルと試算しており、封じ込めはもはや研究上の脚注ではなく、市場の必須要件になりつつある。