ブリッジウォーターのジェンセン氏、AIが人を殺すまで行動は起きないと警告

グーグルは9月18日金曜日、同社のAIモデルGeminiが、5月に実施されたサイバーセキュリティテストの際、保護された実在企業3社のシステムに意図せずアクセスしていたことを確認した。モデルがこれらのシステムを、テストを許可された標的だと誤認したためである。グーグルのセキュリティエンジニアリング担当バイスプレジデント、ヘザー・アトキンス氏によると、標準的な評価の過程で、Geminiはインターネット上で公開されている情報と推測したログイン情報を用い、テスト許可環境の一部だとモデルが認識した3つのウェブサイトにアクセスした。ただしGeminiは、アクセスしたシステムがテスト用の模擬環境ではなく実在企業のものであると検知した後、それ以上の動作を停止した。グーグルは影響を受けた3社すべてに通知済みで、テストパートナー企業と協力してテスト手順の改善を進めている。ウォール・ストリート・ジャーナルの報道によると、このテストはAIセキュリティ評価企業Irregularが実施した。あるテストでは、Geminiが複数回パスワードを試行した末に、保護された実システムへアクセスすることに成功した。他の2件のテストでは、モデルが公開情報源に露出していたログイン情報を発見し、それを用いて他社のシステムにアクセスした。Irregularは、これらのテストは架空の企業を標的として設計されたが、人為的ミスにより架空の企業名が実在企業のインターネットドメインと一致してしまったと述べている。さらに、一部のテスト環境が意図せずインターネットに接続可能だったため、AIモデルがインターネット上の実在の標的を模擬テストの一部だと誤認した。