กูเกิลและเฟซบุ๊กถูกวิจารณ์มานานเรื่องเนื้อหาละเมิดเด็ก และรูปเด็กถูกละเมิด ซึ่งอัลกอริทึมก็ไม่สามารถคัดกรองและจัดการได้ทั้งหมด ทำให้ต้องใช้คนเข้ามาช่วยคัดกรอง แต่การทำหน้าที่นี้ก็ทำให้เสียสุขภาพจิตมาก ล่าสุด กูเกิลทำ Content Safety API ให้องค์กรพาร์ทเนอร์และ NGO นำไปคัดกรองรูปเด็กถูกละเมิดโดยใช้พลัง AI ลดการใช้พลังงานคน

กูเกิลระบุว่า ปกติการตรวจจับเนื้อหารุปภาพละเมิดเด็กจะใช้วิธีจับคู่ภาพที่เคยระบุไว้ว่าเป็นภาพผิดกฎหมาย ซึ่ง Content Safety API จะช่วยให้สามารถติดตามผุ้กระทำผิดได้อย่างมีประสิทธิภาพมากขึ้น เพราะสามารถบ่งชี้รูปภาพใหม่ที่ไม่เคยมีอยู่ในประวัติหรือยืนยันว่าเป็นภาพละเมิดเด็กมาก่อน