ซีอีโอ Anthropic เสนอกรอบ 3 ขั้นตอนชะลอพัฒนา AI หวั่นความเสี่ยงพุ่ง

Product / TechRegulation Impact 4
โดย Money & Banking·USGLOBAL·อ่านต้นฉบับ
สรุป · ทำไมข่าวนี้ถึงสำคัญ

Dario Amodei ซีอีโอของ Anthropic เรียกร้องให้บริษัทปัญญาประดิษฐ์ชะลอความเร็วในการเพิ่มขีดความสามารถของโมเดล ท่ามกลางความกังวลที่เพิ่มขึ้นเกี่ยวกับการนำ AI ไปใช้ในทางที่ผิด พร้อมเสนอกรอบดำเนินงาน 3 ขั้นตอน ได้แก่ การให้ผู้ประเมินอิสระเข้าไปทำงานภายในบริษัท AI โดยเข้าถึงข้อมูลในระดับใกล้เคียงพนักงาน การประสานความร่วมมือระหว่างบริษัทผู้พัฒนา AI ระดับแนวหน้าเพื่อกำหนดมาตรฐานความปลอดภัย และการสร้างความร่วมมือระหว่างประเทศเพื่อบริหารจัดการความเสี่ยงจาก AI โดย Elon Musk ผู้บริหาร xAI และ Sam Altman ซีอีโอ OpenAI ต่างแสดงความเห็นสนับสนุนข้อเสนอนี้ และ Altman ระบุว่าแนวคิดการให้ผู้ประเมินอิสระเข้าถึงบริษัทในระดับเดียวกับพนักงานเป็นแนวคิดที่ดี และ OpenAI จะดำเนินการในลักษณะเดียวกัน Amodei เตือนว่าภายในอีก 6-12 เดือน กลุ่ม AI agents ที่ทำงานร่วมกันอาจมีศักยภาพถึงขั้นเข้าควบคุมระบบบนอินเทอร์เน็ตในวงกว้าง และอาจสร้างความเสียหายคิดเป็นมูลค่าหลายแสนล้านดอลลาร์ ข้อเรียกร้องดังกล่าวมีขึ้นหลัง Anthropic เผยแพร่รายงานข่าวกรองภัยคุกคาม ซึ่งระบุว่ามีผู้ใช้งานหลายกลุ่มนำ Claude ไปใช้ในกิจกรรมตั้งแต่การพัฒนาอาวุธ ปฏิบัติการทางไซเบอร์ การสอดแนม ไปจนถึงการฉ้อโกง และเกิดขึ้นในช่วงที่ทั้ง OpenAI และ Anthropic กำลังเตรียมความพร้อมสำหรับการเสนอขายหุ้นต่อประชาชนทั่วไปเป็นครั้งแรกครั้งใหญ่

ผลกระทบต่อหุ้น 1

Artificial Intelligence · 1 หุ้น

ผลกระทบต่อธีม 3

บริษัทนอก coverage 2

Anthropicเอกชน± ผสม
กฎเกณฑ์ความเกี่ยวข้อง

Anthropic's CEO proposed a three-step safety framework and its threat report flagged Claude misuse, a governance/regulatory stance ahead of a major IPO

OpenAIเอกชน± ผสม
กฎเกณฑ์ความเกี่ยวข้อง

Altman voiced support for Amodei's safety framework and said OpenAI will give independent evaluators employee-level access, a voluntary governance move with unclear financial impact

ข่าวที่เกี่ยวข้อง

impact 4

ผู้ว่าการรัฐแคลิฟอร์เนียพิจารณาบังคับใช้ "สวิตช์ปิดระบบ" สำหรับ AI

นายกาวิน นิวซัม ผู้ว่าการรัฐแคลิฟอร์เนียทางตะวันตกของสหรัฐฯ สังกัดพรรคเดโมแครต ออกคำสั่งฝ่ายบริหารเมื่อวันที่ 18 เพื่อเสริมการกำกับดูแลบริษัทที่พัฒนา ปัญญาประดิษฐ์ หรือ AI โดยสั่งให้พิจารณาการบังคับให้บริษัทผู้พัฒนาติดตั้ง "สวิตช์ปิดระบบ" ที่สามารถสั่งหยุดการทำงานของ AI ได้ทันทีเมื่อ AI หลุดการควบคุม คำสั่งดังกล่าวมีขึ้นหลังเกิดปัญหาที่ตัวแทน AI แบบอัตโนมัติของโอเพนเอไอสหรัฐฯ หลุดการควบคุมและโจมตีไซเบอร์บริษัทอีกรายหนึ่ง นอกจากนี้ยังสั่งให้พิจารณาการจัดตั้งหน่วยตรวจสอบอิสระภายในบริษัทผู้พัฒนา และการตรวจสอบเป็นประจำด้วย คณะผู้เชี่ยวชาญจะเดินหน้าหารือและเสนอแนวทางต่อผู้ว่าการรัฐภายใน 2 เดือนเพื่อจัดทำกฎหมายระดับรัฐต่อไป นายนิวซัมกล่าวในแถลงการณ์ว่า "เราจะเร่งความพยายามในการกำกับดูแล AI อย่างมีความรับผิดชอบก่อนที่จะสายเกินไป" รัฐแคลิฟอร์เนียเป็นที่ตั้งสำนักงานใหญ่ของโอเพนเอไอและบริษัทแอนโทรปิก ซึ่งเป็นบริษัท AI ของสหรัฐฯ แนวโน้มการกำกับดูแลจึงมีแนวโน้มส่งผลกระทบต่อทั้งอุตสาหกรรม
3

AI "เจมินี" ของกูเกิลก่อไซเบอร์แอตแทกเจาะระบบบริษัทอื่น สำเร็จ 3 ราย

สื่อสหรัฐหลายสำนักรายงานเมื่อวันที่ 18 ว่า โมเดลปัญญาประดิษฐ์ "เจมินี" ที่กูเกิลของสหรัฐพัฒนาขึ้นเกิด "อาละวาด" เมื่อเดือนพฤษภาคมปีนี้ และก่อไซเบอร์แอตแทกเจาะระบบบริษัทอื่น ตามรายงานของหนังสือพิมพ์วอลล์สตรีทเจอร์นัลของสหรัฐ บริษัทที่ถูกโจมตีมี 3 ราย เจมินีถูกมอบหมายโจทย์ให้ดึงข้อมูลจากซอฟต์แวร์ของบริษัทสมมติในระหว่างการประเมินสมรรถนะด้านความมั่นคงปลอดภัยไซเบอร์โดยบริษัทภายนอก แต่เนื่องจากระบบเชื่อมต่อกับอินเทอร์เน็ตโดยไม่ตั้งใจ จึงทำให้เจมินีคาดเดารหัสผ่านและเจาะเข้าระบบของบริษัทจริงที่มีชื่อเดียวกับโจทย์ดังกล่าว ในทุกกรณี AI ตระหนักว่ากำลังเจาะเข้าระบบของบริษัทจริงและยุติการโจมตี รายงานระบุว่า ในบรรดาบริษัทพัฒนา AI ของสหรัฐ พบว่าเกิดเหตุอาละวาดขึ้นเช่นกันที่โอเพนเอไอ ซึ่งเป็นเจ้าของ AI สนทนา "แชตจีพีที" และบริษัทอื่น ๆ ด้วย
2

แอนโทรปิกจับมือแอคเซนเจอร์ประเมินความปลอดภัย AI 5 ปี ฝ่ายละ 1 พันล้านดอลลาร์

บริษัทผู้พัฒนาเทคโนโลยีปัญญาประดิษฐ์แอนโทรปิกประกาศเมื่อวันที่ 18 ว่าบริษัทได้จับมือกับแอคเซนเจอร์ บริษัทที่ปรึกษารายใหญ่ เพื่อดำเนินการประเมินโมเดล AI ชั้นนำของบริษัทอย่างเป็นอิสระ ทั้งสองบริษัทจะลงทุนฝ่ายละอย่างน้อย 1 พันล้านดอลลาร์ในช่วง 5 ปีข้างหน้า เพื่อใช้ในการสร้างระบบการประเมิน หน่วยงานด้าน AI เฉพาะทางของแอคเซนเจอร์จะเป็นผู้นำความร่วมมือครั้งนี้ โดยจะทำการประเมินโมเดลของแอนโทรปิก การทดสอบแบบเรดทีม การประเมินด้านการจัดแนวพฤติกรรม และการตรวจสอบมาตรการความปลอดภัยของโมเดล การลงทุนของทั้งสองบริษัทจะสนับสนุนแนวทางที่เรียกว่าการประเมินแบบฝังตัว ซึ่งผู้ประเมินอิสระทำงานภายในบริษัท AI โดยมีสิทธิ์เข้าถึงใกล้เคียงกับพนักงาน แอนโทรปิกอธิบายว่าผู้ประเมินแบบฝังตัวสามารถประเมินวิธีดำเนินงานของบริษัท ตรวจสอบว่าคำมั่นด้านความปลอดภัยได้รับการปฏิบัติตามหรือไม่ และระบุจุดบอดได้ ทั้งสองบริษัทมีแผนจะร่วมมือในลักษณะเดียวกันกับหน่วยงานประเมินอื่นและบริษัทผู้พัฒนา AI รายอื่นด้วย