ผู้ให้บริการ LLM สามรายที่ให้่บริการผ่าน OpenRouter ได้แก่ Novita, Phala, และ Together ถูกคนร้ายแฮกระบบและดึงพรอมต์ที่ลูกค้าใช้งานออกไปได้ ส่งผลให้เกิดความเสียหายเป็นวงกว้างเนื่องจากในพรอมต์อาจมี API key หรือรหัสผ่านของระบบอื่นๆ อยู่ด้วย
ที่น่ากังวลคือผู้ให้บริการเหล่านี้บางรายให้บริการแบบ Zero Data Retention (ZDR) ที่สัญญากับลูกค้าว่าจะไม่เก็บพรอมต์ไว้ประมวลผลอื่นอีก แต่ในความเป็นจริงแล้วก็เก็บพรอมต์ไว้ในระบบอยู่ดี
ทาง Dragos ทดลองด้วยการสร้าง AWS key แล้วคุยกับ LLM โดยให้กุญแจเหล่านี้หลุดเข้าไปด้วย หลังจากนั้นเพียงวันเดียวก็มีคนร้ายพยายามใช้กุญแจเหล่านั้น หรือบางครั้งก็สร้าง URL ลับที่ไม่มีใครรู้ แต่หลังจากคุยกับ LLM แล้วก็มีไคลเอนต์เชื่อมต่อเข้ามาอย่างถูกต้อง
ด้าน OpenRouter ยืนยันว่าการแฮกครั้งนี้ไม่ใช่ช่องโหว่ของ OpenRouter เอง แต่เป็นช่องโหว่ของผู้ให้บริการอีกที นอกจากนี้ยังถอดป้าย ZDR ออกจากผู้ให้บริการอื่นๆ อีก 125 รายการ หลังจากนี้ OpenRouter จะตรวจสอบพรอมต์รั่วด้วยตัวเอง และจะขอตรวจสอบการทำงานของผู้ให้บริการว่ามีความปลอดภัยและหากประกาศว่าเป็น ZDR ต้องไม่มีการเก็บพรอมต์จริง
ที่มา - OpenRouter
on