Research

Disney Research ได้เผยแพร่ผลงานการวิจัยใหม่ ว่าด้วยเรื่องของซอฟต์แวร์ที่ช่วยตัดต่อคลิปวิดีโอที่ถูกถ่ายจากกล้องหลายตัวเข้าเป็นคลิปเดียวกัน

ซอฟต์แวร์ที่ Disney Research พัฒนาขึ้นมานี้ สามารถนำคลิปจากกล้องหลายตัวที่บันทึกภาพเหตุการณ์เดียวกันจากหลายมุมมองเข้าเป็นคลิปเดียวกัน โดยมันจะเลือกเอาภาพที่ดีจากกล้องแต่ละตัวในแต่ละขณะมาประกอบกัน ทั้งยังสามารถตัดภาพแบบซูมเจาะเฉพาะส่วนที่สำคัญในแต่ละขณะได้ด้วย

ซอฟต์แวร์ที่ว่านี้อาศัยการประมวลผลจากภาพของกล้องแต่ละตัว ด้วยเทคนิคการวิเคราะห์ที่เรียกว่า "3D Joint Attention" จนสามารถเข้าใจได้ว่าในขณะที่บันทึกคลิปวิดีโอนั้น กล้องแต่ละตัวอยู่ในมุมและตำแหน่งไหนของสถานที่ถ่ายทำ และรู้ได้ว่าสิ่งใดคือจุดรวมความสนใจของการถ่ายทำ (หากกล้องทุกตัวจับภาพเด็กที่กำลังวิ่ง ซอฟต์แวร์ก็จะรู้ว่าการตัดต่อคลิปต้องทำโดยเลือกภาพที่ดีที่แสดงให้เห็นถึงการวิ่งของเด็ก) และเนื่องจากมันรู้ถึงตำแหน่งของกล้อง ทำให้ซอฟต์แวร์สามารถเลือกตัดต่อภาพจากกล้องต่างๆ ได้โดยไม่ฝ่าฝืน "กฎ 180 องศา" ซึ่งหมายถึงหลักการถ่ายทำภาพยนตร์ที่ผู้ตัดต่อไม่ควรตัดสลับภาพไปมาระหว่างกล้องที่ถ่ายจากด้านหน้าและด้านหลัง (หรือระหว่างด้านซ้ายและด้านขวา) ของเหตุการณ์ เพราะจะทำให้ผู้ชมรู้สึกสับสนถึงตำแหน่งและทิศทางการเคลื่อนที่ของสิ่งที่อยู่ในคลิปวิดีโอ

เมื่อซอฟต์แวร์รู้แล้วว่าสิ่งที่ต้องเป็นจุดรวมความสนใจของคลิปคืออะไร มันก็สามารถเลือกจังหวะที่จะตัดสลับภาพจากกล้องตัวแรกไปใช้ภาพจากกล้องตัวอื่นได้ อธิบายเป็นตัวอย่างได้ว่า ซอฟต์แวร์จะตัดภาพจากกล้อง 1 ไปใช้ภาพจากกล้อง 2 ก็ต่อเมื่อจุดรวมความสนใจหลุดออกจากตำแหน่งภาพที่ดีในกล้อง 1 ไปแล้ว หรือเมื่อมุมมองจากกล้อง 2 สามารถเห็นลักษณะการเคลื่อนไหวของจุดรวมความสนใจได้ดีกว่ามุมมองจากกล้อง 1 เป็นต้น โดยการตัดภาพนั้นจะเลือกทำในช่วงจังหวะที่ไม่ใช่การเคลื่อนไหวสำคัญของคนหรือสิ่งของในภาพด้วย

นอกจากนี้ซอฟต์แวร์ของ Disney Research ยังสามารถตัดต่อคลิปโดยเลือกตัดเจาะเอาเฉพาะส่วนที่น่าสนใจของคลิปนั้นได้ ยกตัวอย่างเช่น ในการถ่ายคลิปการแข่งขันฟุตบอลจากระยะไกล ซึ่งทำให้ได้ภาพมุมกว้างมานั้น ตัวซอฟต์แวร์สามารถตัดเจาะภาพโดยเลือกเอาเฉพาะส่วนของผู้เล่นและสนามให้อยู่ในเฟรมภาพของชิ้นงานได้ เพราะรู้ว่าส่วนของอัฒจันทร์สนามและท้องฟ้าเบื้องหลังนั้นไม่ใช่จุดรวมความสนใจของการถ่ายทำ

ความสามารถอื่นของซอฟต์แวร์ที่ถูกพัฒนาขึ้นนี้ยังมีการเรียบเรียงภาพจากคลิปเพื่อแยกแยะ "เนื้อเรื่องย่อย" ของการถ่ายทำออกจากกันให้ด้วย ตัวอย่างเช่นในงานเลี้ยงสังสรรค์ที่มีการบันทึกคลิปวิดีโอไว้ด้วยกล้องหลายตัวภายในงาน โดยกล้องส่วนหนึ่งเน้นถ่ายภาพบนเวที ในขณะที่ที่อีกส่วนหนึ่งเน้นถ่ายภาพบนโต๊ะอาหาร เมื่อนำภาพทั้งหมดมาตัดต่อรวมกัน ซอฟต์แวร์ของ Disney Research จะหลีกเลี่ยงการตัดภาพสลับไปมาระหว่างบนเวทีกับบนโต๊ะอาหาร (เพราะมันทราบดีว่าเนื้อหาของคลิปเหล่านั้น สนใจในคนละเรื่องกัน) แต่จะพยายามเรียบเรียงคลิปส่วนบนเวที และคลิปในส่วนของโต๊ะอาหาร แยกเป็นคนละช่วงออกจากกัน

ผลประโยชน์ที่เล็งเห็นได้ชัดของซอฟต์แวร์นี้ คงเป็นการนำไปประยุกต์ใช้เป็นเครื่องมือตัดต่อวิดีโอสำหรับผู้ใช้ที่ไม่ใช่มืออาชีพด้านการถ่ายทำหรือตัดต่อภาพ ซึ่งก็ไม่แน่ว่าวันหนึ่งเราอาจเห็นแอพตัดต่อคลิปที่สุดฉลาดจาก Disney ก็เป็นได้

ที่มา - Mashable, เอกสารงานวิจัย

Hiring! บริษัทที่น่าสนใจ

Carmen Software company cover
Carmen Software
Hotel Financial Solutions
Next Innovation (Thailand) Co., Ltd. company cover
Next Innovation (Thailand) Co., Ltd.
We are web design with consulting & engineering services driven the future stronger and flexibility.
KKP Dime company cover
KKP Dime
KKP Dime บริษัทในเครือเกียรตินาคินภัทร
Kiatnakin Phatra Financial Group company cover
Kiatnakin Phatra Financial Group
Financial Service
Fastwork Technologies company cover
Fastwork Technologies
Fastwork.co เว็บไซต์ที่รวบรวม ฟรีแลนซ์ มืออาชีพจากหลากหลายสายงานไว้ในที่เดียวกัน
Thoughtworks Thailand company cover
Thoughtworks Thailand
Thoughtworks เป็นบริษัทที่ปรึกษาด้านเทคโนโยลีระดับโลกที่คว้า Great Place to Work 3 ปีซ้อน
Iron Software company cover
Iron Software
Iron Software is an American company providing a suite of .NET libraries by engineer for engineers.
CLEVERSE company cover
CLEVERSE
Cleverse is a Venture Builder. Our team builds several tech companies.
Nipa Cloud company cover
Nipa Cloud
#1 OpenStack cloud provider in Thailand with our own data center and software platform.
Bangmod Enterprise company cover
Bangmod Enterprise
The leader in Cloud Server and Hosting in Thailand.
CIMB THAI Bank company cover
CIMB THAI Bank
MOVING FORWARD WITH YOU - CIMB is the leading ASEAN Bank
Bangkok Bank company cover
Bangkok Bank
Bangkok Bank is one of Southeast Asia's largest regional banks, a market leader in business banking
MuvMi (Urban Mobility Tech Co.,Ltd.) company cover
MuvMi (Urban Mobility Tech Co.,Ltd.)
Shape the future of urban mobility towards affordable, clean, and safe solutions
T.N. Digital Solution Co., Ltd. company cover
T.N. Digital Solution Co., Ltd.
TNDS has been involving in every first move of banking’s major digital transformation.
KBTG - KASIKORN Business-Technology Group company cover
KBTG - KASIKORN Business-Technology Group
KBTG - "The Technology Company for Digital Business Innovation"
Siam Commercial Bank Public Company Limited company cover
Siam Commercial Bank Public Company Limited
"Let's start a brighter career future together"
Icon Framework co.,Ltd. company cover
Icon Framework co.,Ltd.
Global Standard Platform for Real Estate แพลตฟอร์มสำหรับธุรกิจอสังหาริมทรัพย์ครบวงจร มาตรฐานระดับโลก
REFINITIV company cover
REFINITIV
The Financial and Risk business of Thomson Reuters is now Refinitiv
H LAB company cover
H LAB
Re-engineering healthcare systems through intelligent platforms and system design.
The Gang Technology Co., Ltd. company cover
The Gang Technology Co., Ltd.
We're a Digital Agency that helps our customers transform their business into digital with ease.
LTMH company cover
LTMH
LTMH มุ่งเน้นการพัฒนาผลิตภัณฑ์ที่สามารถช่วยพันธมิตรของเราให้บรรลุเป้าหมาย
Seven Peaks company cover
Seven Peaks
We Drive Digital Transformation
Wisesight (Thailand) Co., Ltd. company cover
Wisesight (Thailand) Co., Ltd.
The Best Choice For Handling Social Media · High Expertise in Social Data · Most Advanced and Secure
MOLOG Tech company cover
MOLOG Tech
We are Modern Logistic Platform, Specialize in WMS, OMS and TMS.
Data Wow Co.,Ltd company cover
Data Wow Co.,Ltd
We enable our clients to realize increased productivity by solving their most complex issues by Data
LINE Company Thailand company cover
LINE Company Thailand
LINE, the world's hottest mobile messaging platform, offers free text and voice messaging + Call
LINE MAN Wongnai company cover
LINE MAN Wongnai
Join our journey to becoming No.1 food platform in Thailand

ยังไม่ทันได้อ่านตัว paper แต่ดู footage อยู่ พอถึงฉากสาธิตใน Gym มีคนเล่นบาสกันอยู่ หัวเราะก๊ากเลย ...

ตีแบตในนั้นประจำทุกอาทิตย์ :)

ต่อไปคือการทำ J Cut-L Cut Technique เพื่อให้ได้สูตรการเล่าเรื่องผ่านการตัดต่อที่ดีครับ แล้วก็แก้สีเพื่อ Match Color ในตัว

ปัญหาคือเราจะรู้ได้อย่างไรว่า Tension ของซีนนั้นๆคืออะไร แล้วการตัดอัตโนมัติจะจับส่วนสำคัญของการสนทนา/การกระทำได้อย่างไร เพื่อจับกริยาที่สำคัญที่สุด

ถ้าเป็นกริยาทั่วไปเช่นการเล่นบาส เราพอจะมองออกจากการขยับและการจับภาพ แต่การแสดงออก (เช่นการเล่นตลกรับลูกไปมาระหว่างสองคน หรือนักมายากลกับผู้ช่วย) จังหวะที่ดีนั่นจะจับได้อย่างไรให้ดูลื่นไหลครับ

คงจะต้องใช้เทคโนโลยีในตลาดหลายๆตัวมาเสริมและเกื้อหนุนกันอีกครับ

แต่น่าจะช่วยได้มากเรื่องการติดตามพฤติกรรมสัตว์ในสวนสัตว์ หรืออะไรทำนองนี้นะครับ : )

ขอบคุณครับ สวัสดีครับ