การเติมภาพส่วนที่ขาดหายไปแบบฉลาดมีการวิจัยมาหลายปี โดยเฉพาะใน Photoshop ที่มี context-aware fill มาระยะหนึ่งแล้ว แต่งานวิจัยล่าสุดของ NVIDIA อาศัยโมเดล deep neural network สามารถเติมภาพได้อย่างสมจริงอย่างมาก ขณะที่กระบวนการพัฒนาทำได้ค่อนข้างตรงไปตรงมา

งานวิจัยอาศัยภาพกว่า 55,000 ภาพขนาด 512x512 มาฝึกโมเดล โดยเจาะภาพอย่างสุ่ม แล้วฝึกให้สร้างภาพกลับมาเป็นภาพต้นฉบับ โดยการเจาะมี 6 ขนาด ภาพที่ใช้มีต้นฉบับมาจาก 3 ชุดข้อมูล ได้แก่ ImageNet, Places2, และ CelebA-HQ ทำให้มีข้อมูลใบหน้าค่อนข้างมาก

นอกจากการเติมเต็มภาพส่วนที่หายไปแล้ว โมเดลนี้ยังสามารถใช้เพิ่มความละเอียดภาพ โดยขยายภาพขึ้นมาเป็นภาพใหญ่แล้วเติม ช่องว่างแทรกลงไปให้เหมือนภาพถูกลบเป็นตาราง โมเดลยังคงสามารถเพิ่มความละเอียดภาพกลับมาได้เป็นอย่างดี

งานวิจัยจะนำเสนอในงาน ICLR 2018 ตั้งแต่วันที่ 30 เมษายนนี้

ที่มา - NVIDIA