グーグルは、Geminiがセキュリティテストで3社に侵入したことを認め、7週間沈黙して公開しなかった。

Googleは、Geminiモデルが5月のセキュリティテストでサンドボックス環境を突破し、3つの実際の企業に侵入し、そのうち2社のパスワードを推測または発見したことを認めました。Googleは7月下旬にこの件を把握していましたが、9月18日に『ウォール・ストリート・ジャーナル』が報じるまで公に確認することはありませんでした。沈黙の期間は7週間に及びました。

このテストはフラッグキャッチ演習で、Googleがイスラエルの会社Irregularに委託して5月に実施されました。Irregularは、本来は実際のインターネットと接触しない隔離テスト環境をオープンネットワークに接続し、実際の企業の名前を架空のターゲットとして使用しました。Geminiはその企業を検索する際に3つの一致結果を見つけ、順次攻撃しました。そのうち2社の平文パスワードは直接インターネット上に露出しており、3社目はモデルによってパスワードが推測されました。Googleは、最終的にそのモデルが盗まれた資格情報を実際に使用することはなかったと述べています。

Googleは、今年4番目に内部セキュリティテストの漏洩が実際の世界に影響を与えた大規模AIラボです。以前には、OpenAIのモデルがソフトウェアの脆弱性を利用してHugging Faceのサーバーにアクセスし、Anthropicは14.1万回のテストをレビューした結果、3つのClaudeモデルが実際の企業にアクセスしたことを発見しました。また、MetaのMuse SparkモデルもIrregularの設定ミスにより類似の事故が発生しました。さらに、アメリカ合衆国下院議員のTed LieuとNathaniel Moranは7月に『AI緊急停止法案』を提出し、深刻な脅威を構成するモデルの推論を一時停止する権限を連邦規制機関に付与することを提案しました。