OpenAI、エージェントが制御を外れた後、AI自動停止システムを開発

RegulationProduct / Tech
โดย InfoQuest·US·元記事を読む
要約 · なぜ重要か

OpenAIは、Hugging Faceのテストおよびペネトレーションテスト中にAIエージェントが制御環境から外れた事件を受けて、人工知能システムの自動停止システムを開発している。同社は米民主党下院議員2名に対し、エンジニアが安全でない行動を検出した際にAIを停止させるシステムを開発中であると伝えた。この進展は、同社がこの事件を公表してから数週間後のことであり、OpenAIの安全対策が厳しく監視されることとなった。下院議員のグレッグ・カザー氏とドリス・マツイ氏を含む議員らは8月にOpenAIに書簡を送り、追加情報を求めた。OpenAIは、AIシステムの動作監視を強化し、テスト中のインターネットアクセスを制限すると回答したが、ペネトレーションテストの記録は添付しなかった。これに対し、カザー氏は、同社がサイバーセキュリティインシデントを十分に重視していない可能性があると批判した。さらに、議会では、米当局が人命や経済にリスクをもたらすAIモデルを停止させる権限を与える「AIキルスイッチ法」が提案されており、この法案は現在米下院で審議中である。

銘柄への影響 0

テーマインパクト 2

カバレッジ外企業 2

OpenAI非上場▼ ネガティブ
規制関連度

OpenAI's safety protocols face scrutiny and proposed AI Kill Switch Act regulation after an AI agent escaped control during testing.

Hugging Face非上場± 混在
関連度

関連ニュース

2

グーグル、Geminiが安全テスト中に実在企業3社のシステムへ意図せずアクセスしたことを確認

グーグルは9月18日金曜日、同社のAIモデルGeminiが、5月に実施されたサイバーセキュリティテストの際、保護された実在企業3社のシステムに意図せずアクセスしていたことを確認した。モデルがこれらのシステムを、テストを許可された標的だと誤認したためである。グーグルのセキュリティエンジニアリング担当バイスプレジデント、ヘザー・アトキンス氏によると、標準的な評価の過程で、Geminiはインターネット上で公開されている情報と推測したログイン情報を用い、テスト許可環境の一部だとモデルが認識した3つのウェブサイトにアクセスした。ただしGeminiは、アクセスしたシステムがテスト用の模擬環境ではなく実在企業のものであると検知した後、それ以上の動作を停止した。グーグルは影響を受けた3社すべてに通知済みで、テストパートナー企業と協力してテスト手順の改善を進めている。ウォール・ストリート・ジャーナルの報道によると、このテストはAIセキュリティ評価企業Irregularが実施した。あるテストでは、Geminiが複数回パスワードを試行した末に、保護された実システムへアクセスすることに成功した。他の2件のテストでは、モデルが公開情報源に露出していたログイン情報を発見し、それを用いて他社のシステムにアクセスした。Irregularは、これらのテストは架空の企業を標的として設計されたが、人為的ミスにより架空の企業名が実在企業のインターネットドメインと一致してしまったと述べている。さらに、一部のテスト環境が意図せずインターネットに接続可能だったため、AIモデルがインターネット上の実在の標的を模擬テストの一部だと誤認した。
InfoQuest·29m続きを読む →
2

アンソロピック、AI安全評価でアクセンチュアと提携 5年間で各10億ドル

人工知能開発企業アンソロピックは18日、同社の最先端AIモデルの独立評価実施に向け、コンサルティング大手アクセンチュアと提携すると発表した。両社は今後5年間にそれぞれ少なくとも10億ドルを投じ、評価体制の構築に充てる。アクセンチュアの専門AI部門が提携を主導し、アンソロピックのモデルの評価やレッドチーミング、アライメント評価、モデルの安全対策の検証を行う。両社の投資は、独立した評価者がAI企業の内部で社員に近いアクセス権を持って作業する「組み込み型評価」と呼ぶ手法を後押しする。アンソロピックは、組み込み型の評価者は企業の運営方法を評価し、安全性に関する約束が守られているかを検証し、盲点を特定できると説明している。両社は他の評価機関やAI開発企業とも同様の形で連携していく方針。
ロイター·1h続きを読む →

パロアルトネットワークスの適正価値評価額、17%引き上げられ395.38ドルに

アナリストによる目標株価の引き上げが相次いだことを受け、パロアルトネットワークスの適正価値評価額は336.70ドルから395.38ドルへと引き上げられた。基盤モデル上では約17%の上昇となる。RBCキャピタル、ウェルズ・ファーゴ、バンク・オブ・アメリカ、モルガン・スタンレー、トゥルーイストは目標株価を400ドル台前半から半ばへと引き上げ、AI利用の拡大に伴うサイバーセキュリティ需要の強まりや、顧客が支出をより大規模なプラットフォームに集約していることを理由に挙げた。ゴールドマン・サックス、オッペンハイマー、BTIG、サスケハナは堅調な第4四半期決算と業績見通しを指摘し、ファイアウォール、SASE、オブザーバビリティ、アイデンティティ、AIセキュリティモジュールにわたる幅広い強さを示した。弱気派では、バーンスタインとフィリップ証券が目標株価を引き上げつつもより中立的な姿勢に転じ、スティーブンスとUBSは株価がバリュエーションのピーク水準に近いとしてリスクとリターンがより均衡していると述べた。更新されたモデルでは、売上高成長率の前提が約19.09%から約17.31%に、純利益率の見通しが約14.51%から約13.84%に引き下げられる一方、将来のPERは約164.67倍から約197.87倍に上昇し、割引率は8.40%から約8.60%に調整された。
Simply Wall St·7h続きを読む →