Lumiere AI จาก Google สุดล้ำ! สร้างวิดีโอจากข้อความ
1 ก.พ. 2567
คราวนี้วงการสายศิลปะและสายอาร์ตได้มีแรงกระเพื่อมมาปะทะอีกครั้ง เพราะทาง Google ได้เปิดตัว AI ตัวใหม่สุดล้ำอย่าง Lumiere ที่ไม่ใช่แค่สร้างรูปภาพตามคำสั่งข้อความ (Prompt) เท่านั้น แต่สามารถสร้างวิดีโอจากคำสั่งได้เลย (Text-to-Video) ซึ่งนี่เป็นเพียงเสี้ยวเล็ก ๆ ที่เจ้า AI ตัวนี้ทำได้เท่านั้น ถ้าพร้อมกันแล้วเราไปดูพร้อม ๆ กันเลยดีกว่าครับ ว่าเจ้า Lumiere คืออะไร ? และสามารถทำอะไรได้บ้าง
Lumiere คือ Video Generation AI ที่ทาง Google ได้พัฒนาขึ้นด้วยโมเดล Diffusion ชื่อ Space-Time-UNet หรือ STUNet ที่สามารถสร้างวิดีโอหรือเปลี่ยนภาพนิ่งให้เคลื่อนไหวได้ โดยเน้นการเคลื่อนไหวที่สมจริงและต่อเนื่องกัน ซึ่งเจ้า STUNet นี้สามารถเข้าใจได้เองว่า ภายในคลิปวิดีโอนั้น ๆ มีอะไรอยู่บ้าง (Space / เข้าใจพื้นที่) และรับรู้ถึงการเคลื่อนไหวที่เกิดขึ้นภายในนั้น (Time / เข้าใจการขยับ) เพื่อนำไปวิเคราะห์และสร้างเฟรมการเคลื่อนไหวถัดไปของสิ่งนั้น ๆ จากฐานข้อมูลที่มีอยู่ได้ โดยจากคลิปเปิดตัวเจ้า Lumiere ก็ได้โชว์ความสามารถให้เราเห็นกันถึง 5 รูปแบบ ดังนี้ครับ
ป้อนข้อความเพื่อสร้างคลิปวิดีโอ Text to Video
สิ่งแรกที่โชว์ให้เราเห็นเลยคือการ เปลี่ยนข้อความประโยคหนึ่งให้ออกมาเป็นคลิปวิดีโอสั้น ๆ โดยมีทั้งวิดีโอที่เป็นคน เป็นสัตว์ที่สมจริง และโมเดล 3D ที่ถูกสร้างขึ้นมา ซึ่งถ้าได้เห็นผ่าน ๆ แทบจะแยกไม่ออกเลยว่านี่เป็นคลิปที่ถูก AI สร้างขึ้นมา
เปลี่ยนภาพนิ่งให้มีการเคลื่อนไหวตามคำสั่ง Image to Video
นอกจากเปลี่ยนข้อความเป็นวิดีโอได้แล้ว ยังสามารถนำภาพนิ่งมาป้อน Prompt ใส่เข้าไป เพื่อทำให้ภาพนิ่งนั้นขยับตามคำสั่งได้ด้วย โดยเปลี่ยนได้หมด ทั้งภาพวาดศิลปะ หรือภาพถ่ายจากกล้อง ซึ่งในตัวอย่างเขาก็ได้ทำให้ท้องฟ้ายามค่ำคืนของ Starry Night ขยับแบบ Timelapse โชว์ครับ
สร้างวิดีโอจากสไตล์ของภาพต้นแบบ Stylized Generation
เจ้า Lumiere สามารถลอกลายเส้นและสไตล์การออกแบบเพื่อสร้างผลงานชิ้นใหม่ได้ ผ่านรูปภาพ Reference เพียงรูปเดียว จากนั้นเราสามารถป้อน Prompt เพื่อให้สร้างวิดีโอสั้น ๆ ที่มีลายเส้นแบบภาพนั้น ๆ ได้ทันที
เปลี่ยนให้พื้นที่บางจุดในภาพนิ่งมีการเคลื่อนไหวขึ้นมา Cinemagraph
เป็นฟีเจอร์ที่จะช่วยเพิ่มความมีชีวิตให้กับภาพนิ่งของเรา ซึ่งเราสามารถนำภาพนิ่ง Insert เข้าไปและลากคลุมพื้นที่บางจุดให้มีการเคลื่อนไหวเพิ่มเติมได้ ตัวอย่างเช่น การเปลี่ยนภาพแม่น้ำนิ่ง ๆ ให้มีคลื่นไหลมากระทบฝั่งเบา ๆ ได้
การใช้ AI ช่วยเพิ่มเติมรายละเอียดในการตัดต่อ Video Editing
พร้อมช่วยให้การตัดต่อวิดีโอในคอมพิวเตอร์ของเรานั้นสะดวกมากขึ้น โดยจะมีทั้ง Video Imprinting การเปลี่ยนสิ่งต่าง ๆ ภายในคลิปให้เป็นไปตาม Prompt เช่น การเปลี่ยนสีหรือเสื้อผ้าที่สวมใส่ หรือเพิ่มเติมสิ่งใหม่ ๆ เข้าไป และ Video Stylization ที่สามารถเปลี่ยนแปลงสไตล์ของคลิปนั้น ๆ ได้อย่างสิ้นเชิงเลย เช่น เปลี่ยนผญที่วิ่งอยู่เป็นดอกไม้ บล็อกไม้สามมิติ หรือ เป็นธีมของเล่นพลาสติกก็ทำได้
ข้อมูลและรูปภาพจาก : Lumiere
เรียกได้ว่าเป็นตัวช่วยใหม่ที่จะเพิ่มลูกเล่นให้คอนเทนต์ของทั้งเหล่าครีเอเตอร์และคนทำงานสายนี้จริง ๆ ซึ่งนี่ก็เป็นแค่ช่วงเริ่มต้นของยุคสมัยแห่ง AI เท่านั้นนะครับ ในอนาคตต้องมีระบบ AI ที่ช่วยให้ชีวิตเราสะดวกสบายขึ้นมากกว่านี้แน่นอน และนี่คือทั้งหมดของ Lumiere AI จาก Google สุดล้ำ! สร้างวิดีโอจากข้อความ ที่พวกเรา Mercular.com ได้นำมาเล่าให้เพื่อน ๆ ฟังกันในครั้งนี้ ซึ่งคราวหน้าจะมีข่าวสารอะไรที่น่าสนใจอีกก็อ ย่าลืมติดตามพวกเราไว้ สำหรับวันนี้ต้องขอตัวลาไปก่อน สวัสดีครับ
