Нейронні текстури покращують візуалізацію

9 мая 2023 г., 18:05

В останні роки якість візуалізації в реальному часі наближається до рівня VFX (Visual Effects) і кіновиробництва, що породжує нові потужні робочі процеси, такі як віртуальне виробництво, які трансформують кіновиробництво. Ці покращення якості були досягнуті завдяки застосуванню методів, що використовуються в кінематографічному рендерингу, таких як фізичне затінення для фотореалістичного моделювання матеріалів, трасування променів і зменшення шуму для точного глобального моделювання.

Незважаючи на більшу конвергенцію методів візуалізації між кінематографічними програмами та програмами реального часу, робочі процеси створення вмісту залишаються значною мірою різними. Щоб обмежити розмір пам’яті, ігри часто використовують спеціалізовані практики для текстурування моделей, які можуть вимагати значних зусиль, наприклад, повторне використання вмісту через екземпляри, шарування плиткових матеріалів або використання процедурних ефектів. Незважаючи на ці зусилля, ігри зазвичай представляють розмиті, збільшені текстури поблизу камери. Крім того, деякі з цих методів не застосовуються до унікально параметризованого вмісту, наприклад фотограмметрії, використання якої є зростаючою тенденцією в сьогоднішніх іграх. Однією з головних перешкод для досягнення наступного рівня реалізму у візуалізації в реальному часі є обмеження пам’яті на диску, пропускної спроможності завантаження та розміру пам’яті.

У статті під назвою «Нейронне стиснення з довільним доступом текстур матеріалів» (NTC) NVIDIA представляє новий алгоритм стиснення текстур. Робота спрямована на зростання вимог до комп’ютерної пам’яті, яка тепер зберігає текстури високої роздільної здатності, а також багато властивостей і атрибутів, доданих до них, щоб відтворювати високоточні та природно виглядаючі матеріали.

Кажуть, що NTC забезпечує в 4 рази вищу роздільну здатність (на 16 текселів більше), ніж BC (блочне стиснення), яке є стандартним стисненням текстур на основі GPU, доступним у багатьох форматах. Алгоритм NVIDIA представляє текстури як тензори (три виміри), але без будь-яких припущень, як у блочному стисненні (таких, як кількість каналів). Єдине, що NTC передбачає, що кожна текстура має однаковий розмір.

Довільний і локальний доступ є важливою особливістю NTC. Для стиснення текстур GPU надзвичайно важливо, щоб доступ до текстур був доступний за невелику вартість без затримки, навіть якщо застосовуються високі рівні стиснення. Це дослідження зосереджено на стисненні багатьох каналів і MIP-карт (MIP-карта — це послідовність текстур, кожна з яких є представленням того самого зображення з поступово нижчою роздільною здатністю). Таким чином, документ стверджує, що якість і бітрейт кращі, ніж у форматах JPEG XL або AVIF.

Постійний розвиток фотореалізму у візуалізації супроводжується зростанням обсягу текстурних даних і, як наслідок, зростаючими вимогами до сховища та пам’яті. Щоб вирішити цю проблему, пропонується нова методика нейронного стиснення, спеціально розроблена для текстур матеріалів. Розблоковується ще два рівні деталізації, тобто у 16 разів більше текселів, використовуючи стиснення з низьким бітрейтом, із якістю зображення, кращою за передові методи стиснення зображень, такі як AVIF і JPEG XL. У той же час запропонований метод дозволяє здійснювати декомпресію в режимі реального часу за вимогою з довільним доступом, подібно до стиснення блокових текстур на графічних процесорах. Це розширює переваги стиснення на всьому шляху від зберігання на диску до пам’яті. Ключовою ідеєю підходу є стиснення кількох текстур матеріалу та їхніх ланцюжків MIP-карт разом і використання невеликої нейронної мережі, оптимізованої для кожного матеріалу, для їх розпакування. Нарешті, використовується спеціальна навчальна реалізація для досягнення практичної швидкості стиснення, продуктивність якої на порядок перевищує продуктивність загальних фреймворків, таких як PyTorch.

На відміну від звичайних алгоритмів BC, які вимагають спеціального апаратного забезпечення, цей алгоритм використовує методи множення матриці, які тепер прискорені сучасними графічним процесором. Згідно з документом, це робить алгоритм NTC більш практичним і ефективнішим через менші обмеження на диск і пам’ять.