SIGGRAPH 2020大會即將召開，F(xiàn)acebook研究人員今天發(fā)表了一篇文章，介紹了“神經(jīng)超采樣”（neural supersampling）技術，這是一種根據(jù)人工智能機器學習為基礎的提高圖像清晰度的算法技術，跟NVIDIA的DLSS“深度學習超采樣”技術差不太多。不過，這個神經(jīng)超采樣并不需要專門的硬件或者軟件就能實現(xiàn)，而且結果還不錯，基本可以媲美DLSS的效果。

“和我們的研究比較接近的，Nvidia最近發(fā)布了深度學習超采樣（DLSS），可以將低分辨率圖片通過神經(jīng)網(wǎng)絡進行實時處理，放大采樣。

在本文中，我們將介紹一種新方法，讓現(xiàn)代游戲引擎容易整合，不需要特殊硬件或軟件，可應用于許多現(xiàn)有的軟件平臺、加速硬件和顯示器。

我們觀察到，對于神經(jīng)超采樣來說，由運動向量提供的額外的輔助信息起到了關鍵作用。運動向量決定了連續(xù)幀內(nèi)像素之間的幾何學對應。換句話說，每個運動向量都指向了亞像素地點，在這些像素上，一個可見表面點可能會出現(xiàn)在上一幀的鄰近位置。這些值通常由計算機視覺方法進行估算，但這樣的光學流動模擬算法容易出錯。對比之下，渲染引擎可以直接制作密集的運動向量，從而得到可靠的、豐富的輸入信息，提供給神經(jīng)超采樣，應用于渲染畫面內(nèi)容。

我們的方法就是基于以上觀察，結合了額外的輔助信息，使用創(chuàng)新的時空神經(jīng)網(wǎng)絡設計，將圖片和視頻品質最大化，同時提供實時運算性能。”

在文章中，F(xiàn)acebook提到了神經(jīng)超采樣技術可能會應用于AR和VR程序，為他們的Oculus平臺提供便利。不過如果效果好的話，應用于其他3D游戲應該也是可行的。當然，新技術需要靠實踐去檢驗，我們很期待看到這個神經(jīng)超采樣的實際表現(xiàn)。