Artificial Intelligence
ทีมวิจัยจากเฟซบุ๊ก, มหาวิทยาลัยสแตนฟอร์ด, และมหาวิทยาลัยวอชิงตัน รายงานถึงการสร้างปัญญาประดิษฐ์เพื่อสร้างตัวการ์ตูนแทน (avatar) ที่เล่นดนตรีได้สมจริง เพียงแค่ใส่เสียงดนตรีไปอย่างเดียวเท่านั้น
ปัญญาประดิษฐ์นี้เป็นแบบ LSTM ที่รับเสียงดนตรีและให้ค่าลักษณะของมือและแขนที่ควรจะเป็น จากนั้นจึงนำโครงแขนนี้ไปกำหนดท่าทางให้กับโมเดลสามมิติได้
ข้อมูลอาศัยวิดีโอดนตรีใน YouTube ที่มีความยาวพอสมควร และมีเครื่องดนตรีชิ้นเดียว และกล้องไม่ขยับตลอดวิดีโอ จากนั้นสร้างภาพโครงแขนและมือจากประมาณการในวิดีโอ ได้ชุดข้อมูลลักษณะแขนและมือออกมาคู่กับเสียงดนตรี นำมาฝึกเครือข่ายนิวรอนแบบ LSTM
on
