ComputerProblem: Missing Data IDs

ในการทำ Data Sync ข้อมูลชุดหนึ่งจากชุด Master ในระบบ Legacy อันหนึ่งไปยังชุด Backup ซึ่งจะมีการ Sync ข้อมูลให้ตรงกับ Master เพียงวันละครั้ง และข้อมูลชุดนี้มีขนาดหลายล้านรายการ โดยแต่ละรายการมี Unique ID กำกับไว้

มีเหตุการณ์เบื้องต้นพบว่า ข้อมูลที่ Master มีการลบข้อมูลบางรายการไปจำนวนหนึ่ง (สมมุติว่ามีประมาณร้อยกว่ารายการ) ซึ่งไม่ได้มีการบันทึกไว้เพราะเป็นระบบ legacy ซึ่งในการทำ Data Sync กันแบบที่มีประสิทธิภาพนั้นจะเป็นลักษณะ Incremental Change ที่จะปรับปรุงเฉพาะส่วนที่ต่างกันเท่านั้น

เงื่อนไขอื่นเพิ่มเติมยังมีอีกว่า ในการดึงข้อมูลจาก Master นี้ มีข้อจำกัดที่ดึงข้อมูลได้เท่านั้นผ่าน API ที่เป็นเว็บซึ่งจะมีเรื่อง TimeOut limit ไว้ที่ 10 นาทีอีกด้วย ซึ่งหากการดึงเพียงครั้งเดียวไม่สำเร็จ จะต้องทำการเรียกใหม่เพื่อทำงานต่อจากครั้งที่แล้วไปเรื่อยๆ ซึ่งจะต่างจากการเขียน App ที่ Run ทิ้งไว้บน server ได้โดยไม่มี timeout
............................................................................

"คำถาม": จงหาวิธีหารายการ Data ID ที่หายไปทั้งหมดจาก Master ที่จะให้ประสิทธิภาพ BigO ที่ดีที่สุด และสามารถใช้งานผ่าน API โดย run เพียงครั้งเดียวที่ทำงานภายใน 10 นาทีได้?