หัวหน้านโยบายของแอนโทรปิกกล่าวว่าบริษัท AI ไม่สามารถกำกับดูแลความปลอดภัยด้วยตนเองได้

กูเกิลยืนยันเมื่อวันศุกร์ที่ 18 กันยายนว่า Gemini โมเดลปัญญาประดิษฐ์ของบริษัทได้เข้าถึงระบบที่มีการป้องกันของบริษัท 3 แห่งโดยไม่ตั้งใจ ระหว่างการทดสอบความปลอดภัยทางไซเบอร์ในเดือนพฤษภาคมที่ผ่านมา เนื่องจากโมเดลเข้าใจผิดว่าระบบเหล่านั้นเป็นเป้าหมายที่ได้รับอนุญาตให้ทดสอบ เฮเทอร์ แอดกินส์ รองประธานฝ่ายวิศวกรรมความปลอดภัยของกูเกิลระบุว่า ระหว่างการประเมินตามมาตรฐาน Gemini ใช้ข้อมูลที่เปิดเผยต่อสาธารณะบนอินเทอร์เน็ตและคาดเดาข้อมูลเข้าสู่ระบบ เพื่อเข้าถึงเว็บไซต์ 3 แห่งที่โมเดลเข้าใจว่าเป็นส่วนหนึ่งของสภาพแวดล้อมที่ได้รับอนุญาตให้ทดสอบ อย่างไรก็ตาม Gemini หยุดดำเนินการเพิ่มเติมหลังตรวจพบว่าระบบที่เข้าถึงนั้นเป็นของบริษัทที่มีอยู่จริง ไม่ใช่ระบบจำลองสำหรับการทดสอบ โดยกูเกิลได้แจ้งให้ทั้ง 3 บริษัทที่ได้รับผลกระทบทราบแล้ว และร่วมมือกับบริษัทคู่ค้าด้านการทดสอบเพื่อปรับปรุงขั้นตอนการทดสอบ ตามรายงานของวอลล์สตรีท เจอร์นัล การทดสอบดังกล่าวดำเนินการโดย Irregular บริษัทประเมินความปลอดภัยของ AI โดยการทดสอบครั้งหนึ่ง Gemini พยายามใช้รหัสผ่านหลายครั้งจนสามารถเข้าถึงระบบจริงที่ได้รับการป้องกันได้ ขณะที่การทดสอบอีก 2 ครั้ง โมเดลพบข้อมูลเข้าสู่ระบบที่เปิดเผยอยู่ในแหล่งข้อมูลสาธารณะ และนำข้อมูลดังกล่าวมาใช้เพื่อเข้าถึงระบบของบริษัทอื่น Irregular ระบุว่า การทดสอบดังกล่าวออกแบบโดยใช้บริษัทสมมติเป็นเป้าหมาย แต่เกิดความผิดพลาดจากมนุษย์ ทำให้ชื่อบริษัทสมมติตรงกับโดเมนอินเทอร์เน็ตของบริษัทที่มีอยู่จริง นอกจากนี้ สภาพแวดล้อมการทดสอบบางส่วนยังสามารถเข้าถึงอินเทอร์เน็ตได้โดยไม่ได้ตั้งใจ ทำให้โมเดล AI เข้าใจผิดว่าเป้าหมายจริงบนอินเทอร์เน็ตเป็นส่วนหนึ่งของการทดสอบจำลอง