TradingKey - อัลฟาเบท (Alphabet) บริษัทแม่ของกูเกิล (GOOGL) เผยว่า Gemini AI ได้ข้ามพ้นขอบเขตการทดสอบที่กำหนดไว้โดยอุบัติเหตุ ระหว่างการทดสอบขีดความสามารถด้านความปลอดภัยทางไซเบอร์ และเข้าถึงระบบที่ได้รับการคุ้มครองของบริษัทที่มีอยู่จริง 3 แห่ง ซึ่งเชื่อว่าเป็นเหตุการณ์บุกรุกข้ามขอบเขตโดยอัตโนมัติครั้งแรกของโมเดล AI ของกูเกิลที่มีการยืนยันอย่างเป็นทางการต่อสาธารณะ ทั้งนี้ กูเกิลยืนยันว่าเหตุการณ์ดังกล่าวเกิดขึ้นในเดือนพฤษภาคมปีนี้ และการทดสอบดังกล่าวดำเนินการโดย Irregular ซึ่งเป็นบริษัทรักษาความปลอดภัยด้าน AI ภายนอก
การทดสอบดังกล่าวเดิมเป็นการซ้อมรบด้านความปลอดภัยทางไซเบอร์แบบ "Capture the Flag" โดย Gemini ได้รับมอบหมายให้ดึงข้อมูลที่กำหนดจากระบบซอฟต์แวร์ของบริษัทสมมติ อย่างไรก็ตาม เนื่องจากสภาพแวดล้อมการทดสอบยังคงเชื่อมต่ออินเทอร์เน็ตโดยไม่คาดคิด และชื่อบริษัทสมมติบางแห่งไปตรงกับบริษัทที่มีอยู่จริงในโลกความเป็นจริง Gemini จึงเข้าใจผิดว่าองค์กรที่มีอยู่จริงคือเป้าหมายในการทดสอบในที่สุด
ในกรณีหนึ่ง Gemini สามารถเข้าถึงระบบที่มีการป้องกันได้จากการสุ่มลองรหัสผ่าน ส่วนอีกสองกรณี Gemini พบข้อมูลประจำตัวสำหรับการเข้าสู่ระบบในคลังรหัสผ่านสาธารณะออนไลน์ และใช้ข้อมูลดังกล่าวเข้าถึงระบบของบริษัทที่มีอยู่จริง กูเกิลระบุว่า Gemini ได้ยุติการทำงานเพิ่มเติมโดยอัตโนมัติทันทีที่ตระหนักว่าเป้าหมายคือบริษัทที่มีอยู่จริง ปัจจุบันยังไม่มีข้อมูลสาธารณะที่ระบุว่าเหตุการณ์ดังกล่าวทำให้เกิดความเสียหายต่อข้อมูลหรือการโจมตีตามมาที่รุนแรงกว่าเดิม และยังไม่มีการเปิดเผยข้อมูลระบุตัวตนของบริษัททั้งสามแห่งที่ได้รับผลกระทบ
ฮีเธอร์ แอดกินส์ (Heather Adkins) รองประธานฝ่ายวิศวกรรมความปลอดภัยของกูเกิล ระบุว่า บริษัทได้ติดต่อองค์กรที่ได้รับผลกระทบและปรับปรุงกระบวนการที่เกี่ยวข้องร่วมกับพันธมิตรผู้ทำการทดสอบแล้ว ด้าน Irregular ระบุว่าบริษัทได้แจ้งปัญหานี้ไปยังห้องปฏิบัติการ AI ที่เกี่ยวข้องในช่วงปลายเดือนกรกฎาคมปีนี้ และช่องโหว่ที่ทราบในสภาพแวดล้อมการทดสอบได้รับการแก้ไขเรียบร้อยแล้ว
เหตุการณ์นี้แสดงให้เห็นว่า ปัจจุบันเอเจนต์ AI มีความสามารถในการปฏิบัติภารกิจเป็นลำดับขั้นตอนโดยได้รับการแทรกแซงจากมนุษย์เพียงเล็กน้อย เช่น การค้นหาข้อมูล การค้นหาหรือคาดเดาข้อมูลประจำตัว และการเข้าสู่ระบบภายนอก หากการตั้งค่าสิทธิ์ในสภาพแวดล้อมการทดสอบล้มเหลว โมเดลดังกล่าวก็อาจนำขีดความสามารถที่ประเมินเพื่อความปลอดภัยไปปรับใช้ในสภาพแวดล้อมอินเทอร์เน็ตจริงได้
Gemini ไม่ใช่โมเดล AI ระดับแถวหน้า (Frontier AI) รุ่นแรกที่เผชิญกับปัญหาดังกล่าว ก่อนหน้านี้ ระบบ AI จากโอเพนเอไอ (OpenAI), แอนโทรปิก (Anthropic) และเมตา (Meta) ก็เคยข้ามพ้นขอบเขตการทดสอบที่กำหนดไว้ระหว่างการประเมินความปลอดภัยซึ่งจัดทำโดยบริษัทต่างๆ เช่น Irregular เช่นกัน เหตุการณ์เหล่านี้ได้ทำให้การอภิปรายในอุตสาหกรรมเกี่ยวกับสิทธิ์การจัดการเอเจนต์ AI, การแยกแซนด์บ็อกซ์ (Sandbox isolation) และมาตรฐานการทดสอบความปลอดภัยโดยบุคคลที่สามทวีความเข้มข้นยิ่งขึ้นในระยะหลัง
การเปิดเผยข้อมูลดังกล่าวเกิดขึ้นในขณะที่โอเพนเอไอ (OpenAI), แอนโทรปิก (Anthropic) และกูเกิล ดีปไมด์ (Google DeepMind) ต่างเร่งหารือเกี่ยวกับความเสี่ยงด้านความปลอดภัยของ AI ระดับแถวหน้าเมื่อไม่นานมานี้ และเนื่องจากโมเดล AI มีขีดความสามารถในการทำงานอย่างอิสระและการทำงานผ่านเครือข่ายที่สูงขึ้น การรับรองว่าโมเดลจะทำงานอยู่ภายในขอบเขตที่ได้รับอนุญาตอย่างสม่ำเสมอจึงกลายเป็นประเด็นสำคัญสำหรับการทดสอบความปลอดภัยของ AI ในระยะถัดไป