Tags:
Node Thumbnail

ทีมวิจัยจากมหาวิทยาลัย Erlangen-Nuremberg ในเยอรมนีรายงานถึงงานวิจัย ADOP ระบบเรนเดอร์ภาพหลากหลายมุมมองทำให้กล้องสามารถเคลื่อนไปมารอบวัตถุได้อย่างสมจริง

ADOP อาศัยภาพเริ่มต้น, จุดสามมิติของภาพ (point cloud), รุ่นกล้องถ่ายภาพ, และตำแหน่งของกล้องเพื่อสร้างภาพ โดยโมเดลปัญญาประดิษฐ์รับอินพุตเป็นภาพจากกล้องวิดีโอของวัตถุแต่ละชิ้นที่กำลังสร้างภาพสามมิติ จำนวนประมาณ 300-350 ภาพ โดยเก็บภาพไว้ 5% สำหรับการทดสอบระบบ จากนั้นนำภาพไปสร้าง point cloud จำนวนประมาณ 8-12 ล้านจุด

โมเดลปัญญาประดิษฐ์จะให้ภาพแบบ HDR ออกมาก่อน จากนั้นระบบจะนำไปปรับสีด้วย tone mapper เพื่อให้ภาพสมจริงยิ่งขึ้น เนื่องจากภาพที่สร้างขึ้นเป็น HDR จึงสามารถนำไปสร้างภาพมุมมองเดียวกับภาพต้นฉบับแต่ปรับแต่งสีให้สวยกว่าภาพที่ใช้ฝึกเสียอีก

ทีมวิจัยระบุว่าจะเปิดซอร์สโค้ดของ ADOP ทั้งหมดเข้า GitHub หลังจากรายงานวิจัยนี้ได้รับตีพิมพ์แล้ว

ที่มา - ADOP: Approximate Differentiable One-Pixel Point Rendering

Get latest news from Blognone

Comments

By: akira on 17 October 2021 - 20:42 #1227887

งานวิจัยนี้เอาไปทำประโยชน์ได้อีกเยอะเลยนะเนี่ย ถ้าสมบูรณ์โลกของ AR/VR ก็จะใกล้เคียงความจริงมากยิ่งขึ้นในเร็ววัน มันจะทำให้ consumer สามารถสร้างโลก AR/VR ได้ด้วยตัวเองแทนที่จะต้องรอบริษัทผู้ผลิต

By: Kazu
iPhoneWindows PhoneAndroidUbuntu
on 17 October 2021 - 20:50 #1227889 Reply to:1227887

300ภาพ น่าจะยังเยอะอยู่ สำหรับการถ่ายด้วยมือ

By: akira on 17 October 2021 - 20:55 #1227890 Reply to:1227889

VDO ไงครับ แล้ว extract เอา frame ออกมาเป็นภาพ 300 ภาพผมว่าสบาย แค่ VDO ไฟล์เดียว ถ่ายรอบวัตถุ แล้วสร้างซอฟต์แวร์สำหรับเลือกมุมมองภาพ extract ออกมาเป็นภาพเข้า model เพื่อ train ต่อ

By: Lightwave
iPhoneAndroidWindows
on 18 October 2021 - 02:47 #1227918 Reply to:1227890

แต่เฟรมวีดีโอไม่มีเก็บข้อมูลพวกlatitude, longitude ทิศทางที่กล้องหัน ระยะจากวัตถุ นะครับ

By: akira on 18 October 2021 - 10:14 #1227945 Reply to:1227918

ผมไม่เฉลยแล้วกันลองเอาไปคิดต่อ ว่าพื้นฐานของงาน VDO คืออะไร ? เราดึงเฟรมภาพระหว่างถ่ายทำได้ไหม? เรา run process คู่ขนานเพื่อหาข้อมูลที่คุณกล่าวมา และจับคู่กับภาพในช่วงเวลาเดียวกันได้หรือไม่ ? เราบันทึกลง metadata ของ shot ภาพที่ดึงลงมาได้ไหม ? อ่อ hw ปัจจุบันของอุปกรณ์พกพามีความสามารถทำงานที่กล่าวมาทั้งหมดได้หรือไม่ ? ถ้าคุณบอกว่าทำได้ทั้งหมด คุณก็กำลังก้าวคู่ไปข้างหน้ากับนักวิจัยต่างชาติได้ ผมว่ามีคนทำได้น่า

By: blacktop
iPhoneWindowsIn Love
on 18 October 2021 - 10:05 #1227943 Reply to:1227889
blacktop's picture

แต่300ภาพได้ผลลัพธ์ออกมาคุ้มค่ากับการถ่ายอยู่นะครับ กับวัตถุสิ่งก่อสร้างที่ใช้เครื่องสแกนไม่ได้

By: hisoft
ContributorWindows PhoneWindows
on 18 October 2021 - 00:30 #1227912
hisoft's picture

คล้าย Photosynth เลย

By: -Rookies-
ContributorAndroidWindowsIn Love
on 20 October 2021 - 14:26 #1228490

โหดมาก พัฒนาไปเรื่อย ๆ จริง ๆ เทคโนโลยีด้านนี้


เทคโนโลยีไม่ผิด คนใช้มันในทางที่ผิดนั่นแหละที่ผิด!?!