Carli Michelle Heller สตรีสหรัฐฯ ในฟลอริดาถูกจับกุม หลังเธอคุยกับ Claude เป็นไดอารี และบอกว่าอยากไปยิงสำนักงานนายอำเภอ (sheriff's office) เมื่อวันที่ 26 กันยายนที่ผ่านมา

Anthropic มีระบบตรวจจับเนื้อหาเป็นภัย และเมื่อพบแล้วก็จะใช้เจ้าหน้าที่เข้าตรวจข้อความ เมื่อพบข้อความนี้เจ้าหน้าที่ของ Anthropic ตัดสินใจแจ้งความกับตำรวจ โดย Heller ถูกตั้งข้อหาข่มขู่ด้วยข้อความ (written threat)

ข้อตกลงการใช้งานของ Claude ระบุชัดเจนว่าเจ้าหน้าที่มีสิทธิ์ตรวจสอบข้อความในแชตก่อน รวมถึงแม้จะไม่อนุญาตให้ Anthropic นำข้อความไปฝึกโมเดลแต่ทางบริษัทก็ยังนำไปปรับปรุงโมเดลเพื่อตรวจสอบความปลอดภัยได้อยู่ดี

ที่มา - SWFL.io