Visual Disruptors: Digital DOUG (Phần 2)

0
142

Kyxaodienanh.com xin được gửi đến các bạn phần tiếp theo của bài viết Visual Disruptors. Trong phần này, chúng ta sẽ cùng tìm hiểu kỹ hơn về nghiên cứu Visual Disruptors và xem cách mà nó hoạt động như thế nào.

Người kỹ thuật số là một khía cạnh quan trọng của việc phát triển virtual production. Hầu hết các câu chuyện của chúng tôi về con người, và phần biểu cảm nhất của bất kỳ hiệu suất nào là khuôn mặt của diễn viên.
Trong tập mới nhất của series Visual Disruptors: Exploring the Future of Virtual Production với EPIC games, chúng ta nói về Digital Domain.
Trong phần đầu tiên của series, chúng ta đã được khám phá những điều cơ bản của virtual production là gì, tác động đã có trên phim, và tương lai có thể nắm giữ những công nghệ và kỹ thuật mới nổi.

Trong phần thứ hai, Digital Humans: Actor and Avatars, Mike Seymour của fxguide (người đã tự mình nhân bản kỹ thuật số trong dự án MEET MIKE) đã phỏng vấn Scott Meadows của Digital Domain, chủ tịch của Visualization, và Doug Roble, Senior Director của Software R&D, về công việc của studio và công việc khoanh vùng của virtual production và digital humans.
Podcast bắt đầu với việc Meadows giải thích cách bộ công cụ ban đầu mà anh ấy lắp ráp để dự trù trên Tron liên tục phát triển, như khả năng của cả phần cứng đồ họa và công cụ thời gian thực tiến tới những trạng thái không thể tưởng tượng được vài năm trước. Đã mài dũa công cụ và kỹ thuật của mình trên phim Beauty and the Beast, Black Panther, và Ready Player One, Meadown hiện đang đến gần tới điểm-thay vì tạo một mô hình 3D thô.

Nghiên cứu sâu hơn về con người kỹ thuật số

Khả năng của đạo diễn để xem được các yếu tố CG trong khi quay các thành phần hoạt động trực tiếp về cơ bản là giải phóng. Nhưng điều gì sẽ xảy ra nếu họ có thể thấy khuôn mặt chính xác thực sự mà khuôn mặt CG phản ứng trong thời gian thực với đầu vào của các diễn viên, vì vậy họ thực sự có thể đánh giá hiệu suất của nhân vật, và không chỉ ở diễn viên? Đó là những gì nhóm Roble và Digital Domain đặt ra để khám phá với dự án ‘Digital Doug’ của họ.

Nhóm đã tiến hành tạo ra thời gian thực, với độ phân giải cao nhất, không đánh dấu, nhỏ gọn, hệ thống animation trên khuôn mặt một camera (không phải là thử thách nhỏ), sử dụng Doug như một con chuột lang. Để đạt được điều này, họ phải kết hợp một số kỹ thuật với công nghệ Motion Capture độc quyền, trước khi chuyển sang machine learning để hoàn thành bức hình.

Đầu tiên là quét siêu phân giải cao đã được thực hiện trong một số tư thế tạo Stage Light của USC ICT. Những hình ảnh quét này mang đến hình ảnh photorealism đáng kinh ngạc như hình ảnh dựa trên hình ảnh tĩnh, nhưng không có sự gắn kết thời gian – không có cách nào để di chuyển từ tư thế này sang tư thế khác mà không lướt nhanh qua texture.
Tiếp theo, Roble đã chuyển sang hình ảnh không gian (DI4D) để cho được dữ liệu được quét của chính mình đã được kết hợp tạm thời, mặc dù ở độ phân giải thấp hơn.


Bước thứ ba là Roble tham gia vào giai đoạn motion capture truyền thống của Digital Domain với khuôn mặt được trang trí bằng 160 điểm đánh dấu. Không được ngăn chặn, nhóm nghiên cứu sau đó có thể sử dụng machine learning trong phần mềm Masquerade của Digital Domain (được sử dụng trên Avengers: Infinity War) – để lấy thông tin và nâng cấp dữ liệu motion capture lên 80.000 khuôn mặt. Những lưới có độ phân giải cao này sau đó có thể được sử dụng để cung cấp một bộ dữ liệu dày hơn cho machine learning. Digital Domain cũng có thể sử dụng dữ liệu motion capture để tạo ra 20,000 cặp hình ảnh có độ phân giải cao và lưới cho một loạt các tư thế.

Bước cuối cùng là đưa dữ liệu vào chương trình Machine Ilearning/Deep learning, và sử dụng nó để huấn luyện Digital Doug.

Vào lúc cuối cùng của giai đoạn huấn luyện này, hệ thống đã có thể tính toán chính xác được sự kết hợp giữa texture và mesh ở độ phân giải cao cho bất kỳ nguồn live-action nào ở tốc độ 70fps. Trong khi huấn luyện mất một khoảng thời gian, hệ thống Machine Learning chạy cực nhanh. Bất cứ biểu hiện nào hoặc nhìn Doug, Doug kỹ thuật số (hoặc một nhân vật CG được nhắm mục tiêu khác) giờ đây có thể làm theo thời gian thực. Tất cả nhận ra và được trả lại trong Unreal Engine UE4.

Theo fxguide.com (dịch)

Ngân Dương

LEAVE A REPLY

Please enter your comment!
Please enter your name here