Các phương pháp dựng hình 3D truyền thống như rasterization hoặc ray-tracing, ngay cả khi được tăng tốc bởi thế hệ card đồ họa mới nhất, hiện đang đạt đến giới hạn của chúng trước sự phức tạp ngày càng tăng của các cảnh cần hiển thị và các hiệu ứng hình ảnh ngày càng tinh vi trong các trò chơi mới nhất. Do đó, ngành công nghiệp trò chơi điện tử đang tìm kiếm những phương pháp mới để mang đến những trải nghiệm thú vị và mượt mà hơn, do đó, trong những năm gần đây, các kỹ thuật sử dụng trí tuệ nhân tạo đã ra đời, với ý tưởng chính là tạo ra một khung hình trung gian từ hai hình ảnh liên tiếp; Đây chính là những gì DLSS 3 của NVIDIA và FSR 3 Frame Generation của AMD cung cấp.
Nhưng các phương pháp nội suy này có một nhược điểm lớn: chúng làm tăng độ trễ. Đây là lý do tại sao chúng thường được kết hợp với các kỹ thuật khác nhằm mục đích giữ độ trễ ở mức thấp nhất có thể, chẳng hạn như NVIDIA Reflex trên GeForce RTX. Các nhà nghiên cứu từ Intel liên kết với Đại học California tại Santa Barbara trình bày trong một bài báo nghiên cứu một phương pháp thay thế có tên là GFFE (Ngoại suy khung không đệm G), lần này dựa trên ngoại suy và không đưa vào độ trễ tiên nghiệm bổ sung.
Nội suy cổ điển sử dụng các thuật toán học sâu yêu cầu dữ liệu có trong cả hình ảnh quá khứ và tương lai. Phép ngoại suy các khung tổng hợp các hình ảnh mới chỉ dựa trên lịch sử của các hình ảnh trước đó và thông tin của chúng. Do đó, điều này cho phép tăng tốc độ khung hình cảm nhận được trong khi tránh độ trễ do phương pháp nội suy DLSS hoặc FSR FG gây ra. Việc không có độ trễ bổ sung là một lợi thế rõ ràng cho các ứng dụng thời gian thực như trò chơi.
Quản lý hiện tượng che khuất, tức là các khu vực xuất hiện trong khung hình hiện tại nhưng bị ẩn trong các khung hình trước đó, cũng như ước tính chính xác chuyển động và đổ bóng của vật thể vẫn là những vấn đề chính mà các phương pháp ngoại suy khung hình gặp phải. Đây là những lĩnh vực mà nghiên cứu hiện tại đang tập trung: GFFE sử dụng một số kỹ thuật cải tiến để khắc phục những trở ngại này, đồng thời đảm bảo kết quả hình ảnh chất lượng cao và dễ dàng tích hợp vào các công cụ kết xuất hiện có.
© Intel / UCSB
Có ba loại che khuất: loại che khuất ngoài màn hình xuất hiện khi máy quay di chuyển và hiển thị các khu vực trước đó không nhìn thấy được, các điểm che khuất tĩnh do các vật thể đứng yên chặn các thành phần khác trong cảnh và các điểm che khuất động do chuyển động của các vật thể đang chuyển động. Do đó, những khu vực này không có trong các hình ảnh trước đó cần có thông tin bổ sung từ các thuật toán ngoại suy.
Các phương pháp ngoại suy truyền thống thường sử dụng “Bộ đệm G” để hướng dẫn tạo hình ảnh: đây là thông tin hình học và vật liệu liên quan đến cảnh, chẳng hạn như độ sâu, pháp tuyến và kết cấu. Tuy nhiên, việc sử dụng chúng có thể tốn kém về mặt hiệu suất và bộ nhớ, đặc biệt là trên các thiết bị di động hoặc khi kết xuất bằng các đường ống cụ thể.
© Intel / UCSB GFFE nổi bật chính xác nhờ khả năng thực hiện ngoại suy khung hình mà không cần bộ đệm G, do đó có tên như vậy. Thay vào đó, nó sử dụng lịch sử khung hình trước đó để ước tính chuyển động của vật thể và xử lý các loại che khuất khác nhau. GFFE hoạt động dựa trên khuôn khổ thuật toán tiên tiến và mạng nơ-ron để phân tích chuyển động của các thành phần động trong bối cảnh.
Phương pháp này bao gồm một số phần: một mô-đun ước tính chuyển động theo dõi quỹ đạo của các phần tử trong không gian 3D và ước tính vị trí tương lai của chúng, một mô-đun thu thập nền duy trì thông tin về các khu vực bị ẩn trong các khung hình trước đó, một mô-đun cửa sổ kết xuất thích ứng điều chỉnh khu vực kết xuất dựa trên chuyển động của máy ảnh và một mạng nơ-ron hiệu chỉnh đổ bóng giúp cải thiện tính nhất quán về mặt hình ảnh.
Ước tính chuyển động © Intel / UCSB Chính xác hơn, quỹ đạo của mỗi phần tử hình ảnh trong không gian 3D được tính toán đệ quy cho mỗi khung hình được kết xuất, bằng cách sử dụng các vectơ chuyển động và ma trận chiếu của máy ảnh. Vị trí tương lai của mỗi phần tử sau đó được ước tính dựa trên quỹ đạo trước đây của nó, bằng cách sử dụng phép tính gần đúng tuyến tính. Phương pháp này cho phép ước tính chuyển động hợp lý trong khi vẫn tiết kiệm tài nguyên.
Để xử lý hiện tượng che khuất, GFFE sử dụng hệ thống thu thập nền duy trì nhiều lớp thông tin về các thành phần ẩn. Các lớp này được cập nhật dựa trên các khung hình đã kết xuất và nội dung của chúng được chiếu lên các khung hình mới để lấp đầy các khu vực không hiển thị trong các khung hình trước đó. Cửa sổ kết xuất thích ứng quản lý các điểm che khuất ngoài màn hình bằng cách mở rộng vùng kết xuất một cách động dựa trên chuyển động của camera.
Cửa sổ kết xuất thích ứng © Intel / UCSB Cuối cùng, mạng nơ-ron hiệu chỉnh bóng được sử dụng để cải thiện chất lượng hình ảnh của các hình ảnh được ngoại suy, đặc biệt là bằng cách hiệu chỉnh bóng và phản chiếu có thể không theo cùng một quỹ đạo như các đối tượng. Mạng nơ-ron này sử dụng mặt nạ tiêu điểm để nhắm vào các khu vực cần hiệu chỉnh, giúp bảo toàn các chi tiết sắc nét trong phần còn lại của hình ảnh.
Trên thực tế, kết quả thu được có thể so sánh được, nếu không muốn nói là tốt hơn, so với kết quả của các phương pháp nội suy hoặc ngoại suy dựa trên bộ đệm G. GFFE nổi bật với tính mạnh mẽ và khả năng tổng quát hóa, có thể cung cấp kết quả hợp lý trong nhiều cảnh khác nhau, ngay cả những cảnh không được sử dụng trong quá trình đào tạo. Điều tuyệt vời nhất là GFFE hiệu quả hơn và dễ tích hợp hơn vào các công cụ kết xuất 3D thời gian thực.
Tuy nhiên, phương pháp GFFE vẫn chưa hoàn hảo và vẫn còn một số hạn chế. Ví dụ, nó có thể không hoạt động trong trường hợp che khuất chưa từng thấy trong lịch sử khung hình hoặc khi có hiệu ứng hình ảnh không dựa trên độ sâu, chẳng hạn như các hạt hoặc giao diện trò chơi. Đôi khi, hiệu chỉnh bóng và phản chiếu có thể không hoàn hảo do thiếu thông tin từ các khung hình trong tương lai.
Tuy nhiên, công trình nghiên cứu hiện tại của các nhà nghiên cứu Intel vẫn đại diện cho một bước tiến đáng kể trong lĩnh vực này: giải pháp của họ đã có hiệu quả trong việc cải thiện hiệu suất đồ họa mà không ảnh hưởng đến chất lượng hình ảnh hoặc - trên hết - tạo ra độ trễ bổ sung. Đủ để mở ra những viễn cảnh mới cho các ứng dụng di động, trò chơi đám mây và nói chung là các nền tảng có nguồn lực hạn chế hoặc cụ thể.
Nguồn: Đại học California, Intel
Nhưng các phương pháp nội suy này có một nhược điểm lớn: chúng làm tăng độ trễ. Đây là lý do tại sao chúng thường được kết hợp với các kỹ thuật khác nhằm mục đích giữ độ trễ ở mức thấp nhất có thể, chẳng hạn như NVIDIA Reflex trên GeForce RTX. Các nhà nghiên cứu từ Intel liên kết với Đại học California tại Santa Barbara trình bày trong một bài báo nghiên cứu một phương pháp thay thế có tên là GFFE (Ngoại suy khung không đệm G), lần này dựa trên ngoại suy và không đưa vào độ trễ tiên nghiệm bổ sung.
GFFE: hình ảnh được ngoại suy thay vì hình ảnh được nội suy
Nội suy cổ điển sử dụng các thuật toán học sâu yêu cầu dữ liệu có trong cả hình ảnh quá khứ và tương lai. Phép ngoại suy các khung tổng hợp các hình ảnh mới chỉ dựa trên lịch sử của các hình ảnh trước đó và thông tin của chúng. Do đó, điều này cho phép tăng tốc độ khung hình cảm nhận được trong khi tránh độ trễ do phương pháp nội suy DLSS hoặc FSR FG gây ra. Việc không có độ trễ bổ sung là một lợi thế rõ ràng cho các ứng dụng thời gian thực như trò chơi.
Quản lý hiện tượng che khuất, tức là các khu vực xuất hiện trong khung hình hiện tại nhưng bị ẩn trong các khung hình trước đó, cũng như ước tính chính xác chuyển động và đổ bóng của vật thể vẫn là những vấn đề chính mà các phương pháp ngoại suy khung hình gặp phải. Đây là những lĩnh vực mà nghiên cứu hiện tại đang tập trung: GFFE sử dụng một số kỹ thuật cải tiến để khắc phục những trở ngại này, đồng thời đảm bảo kết quả hình ảnh chất lượng cao và dễ dàng tích hợp vào các công cụ kết xuất hiện có.
Quản lý ba loại che khuất, không cần G-Buffer
Có ba loại che khuất: loại che khuất ngoài màn hình xuất hiện khi máy quay di chuyển và hiển thị các khu vực trước đó không nhìn thấy được, các điểm che khuất tĩnh do các vật thể đứng yên chặn các thành phần khác trong cảnh và các điểm che khuất động do chuyển động của các vật thể đang chuyển động. Do đó, những khu vực này không có trong các hình ảnh trước đó cần có thông tin bổ sung từ các thuật toán ngoại suy.
Các phương pháp ngoại suy truyền thống thường sử dụng “Bộ đệm G” để hướng dẫn tạo hình ảnh: đây là thông tin hình học và vật liệu liên quan đến cảnh, chẳng hạn như độ sâu, pháp tuyến và kết cấu. Tuy nhiên, việc sử dụng chúng có thể tốn kém về mặt hiệu suất và bộ nhớ, đặc biệt là trên các thiết bị di động hoặc khi kết xuất bằng các đường ống cụ thể.
Phương pháp này bao gồm một số phần: một mô-đun ước tính chuyển động theo dõi quỹ đạo của các phần tử trong không gian 3D và ước tính vị trí tương lai của chúng, một mô-đun thu thập nền duy trì thông tin về các khu vực bị ẩn trong các khung hình trước đó, một mô-đun cửa sổ kết xuất thích ứng điều chỉnh khu vực kết xuất dựa trên chuyển động của máy ảnh và một mạng nơ-ron hiệu chỉnh đổ bóng giúp cải thiện tính nhất quán về mặt hình ảnh.
GFFE: Triển khai và Hiệu suất
Để xử lý hiện tượng che khuất, GFFE sử dụng hệ thống thu thập nền duy trì nhiều lớp thông tin về các thành phần ẩn. Các lớp này được cập nhật dựa trên các khung hình đã kết xuất và nội dung của chúng được chiếu lên các khung hình mới để lấp đầy các khu vực không hiển thị trong các khung hình trước đó. Cửa sổ kết xuất thích ứng quản lý các điểm che khuất ngoài màn hình bằng cách mở rộng vùng kết xuất một cách động dựa trên chuyển động của camera.
Trên thực tế, kết quả thu được có thể so sánh được, nếu không muốn nói là tốt hơn, so với kết quả của các phương pháp nội suy hoặc ngoại suy dựa trên bộ đệm G. GFFE nổi bật với tính mạnh mẽ và khả năng tổng quát hóa, có thể cung cấp kết quả hợp lý trong nhiều cảnh khác nhau, ngay cả những cảnh không được sử dụng trong quá trình đào tạo. Điều tuyệt vời nhất là GFFE hiệu quả hơn và dễ tích hợp hơn vào các công cụ kết xuất 3D thời gian thực.
Một phương pháp vẫn chưa hoàn hảo
Tuy nhiên, phương pháp GFFE vẫn chưa hoàn hảo và vẫn còn một số hạn chế. Ví dụ, nó có thể không hoạt động trong trường hợp che khuất chưa từng thấy trong lịch sử khung hình hoặc khi có hiệu ứng hình ảnh không dựa trên độ sâu, chẳng hạn như các hạt hoặc giao diện trò chơi. Đôi khi, hiệu chỉnh bóng và phản chiếu có thể không hoàn hảo do thiếu thông tin từ các khung hình trong tương lai.
Tuy nhiên, công trình nghiên cứu hiện tại của các nhà nghiên cứu Intel vẫn đại diện cho một bước tiến đáng kể trong lĩnh vực này: giải pháp của họ đã có hiệu quả trong việc cải thiện hiệu suất đồ họa mà không ảnh hưởng đến chất lượng hình ảnh hoặc - trên hết - tạo ra độ trễ bổ sung. Đủ để mở ra những viễn cảnh mới cho các ứng dụng di động, trò chơi đám mây và nói chung là các nền tảng có nguồn lực hạn chế hoặc cụ thể.
Nguồn: Đại học California, Intel