Новая ставка NVIDIA на применение искусственного интеллекта в графике получила собственное название: Нейронное сжатие текстуры (NTC)Эта технология, подробно продемонстрированная на последних технических конференциях компании, напрямую решает одну из самых больших проблем в современных играх: использование видеопамяти или VRAM.
Согласно данным, предоставленным компанией, NTC удается снизить потребление памяти. приблизительно 6,5 ГБ до примерно 970 МБ В той же тестовой сцене, при этом качество текстур практически не изменилось. Речь идёт о снижении использования видеопамяти почти на 85%, что особенно актуально для геймеров на ПК со средними видеокартами или более старыми системами, которые очень распространены в Испании и остальной Европе.
Что именно представляет собой нейронное сжатие текстуры?
Нейронное сжатие текстуры, по сути, представляет собой систему Сжатие и распаковка текстур на основе нейронных сетей.Вместо того чтобы хранить итоговую текстуру непосредственно в памяти графического процессора, как в классических блочных форматах (BC5, BC6, BC7 и подобных), графический движок сохраняет сжатое представление, которое затем небольшая нейронная сеть восстанавливает в реальном времени.
Эта нейронная сеть учится представлять тексели — наименьшие единицы текстуры — гораздо компактнее, чем традиционные методы. Благодаря этому предварительному обучению графический процессор способен восстановить детали материалов, поверхностей и объектов. когда необходимо отрендерить каждый кадр, не требуя при этом постоянного размещения всей исходной информации в видеопамяти.
С точки зрения разработчика, идея заключается в замене необработанных текстур или текстур, хранящихся в формате BCN, на версии, созданные с помощью нейронных сетей. Изменение затрагивает внутренний графический конвейер, но конечная цель состоит в том, чтобы игрок заметил только разницу. Два момента: меньшее потребление памяти и, по крайней мере, тот же уровень графики., а иногда и лучше при том же объеме видеопамяти.
Сама компания NVIDIA в своих технических докладах на GDC и GTC обозначила NTC в рамках четкой тенденции: интеграция ИИ не только в видимые задачи, такие как масштабирование изображений (как в случае с DLSS), но и в другие области. ключевые этапы рендеринга, которые до сих пор зависели исключительно от фиксированных алгоритмов.
Уменьшение объема видеопамяти: с 6,5 ГБ до 970 МБ.
Наибольший резонанс вызвала демонстрация сложной сцены, использованной в качестве эталона в различных презентациях. В этом тесте использовалась вилла в тосканском стиле с обилием декораций. Детализированные материалы, плотная геометрия и текстуры высокого разрешения. При использовании стандартного сжатия BCn было задействовано около 6,5 ГБ видеопамяти.
Активация нейронного сжатия текстур для тех же самых ресурсов позволила снизить потребление памяти примерно до... 970 МБ видеопамяти, обеспечивающих практически идентичное качество изображения.Компания также подчеркнула, что речь идёт не просто об экономии памяти, а об использовании этой экономии для повышения уровня детализации, если этого требует игра.
В ходе сравнительных тестов NVIDIA показала, что при одинаковом объеме видеопамяти традиционные сжатые текстуры могут обеспечить высокую производительность. видимые артефакты, потеря резкости и деградация материаловТехнология NTC, в свою очередь, сохраняет больше мелких деталей. На практике это приводит к более чистым поверхностям с меньшим уровнем шума и полос, а также к лучшим отражениям и цветовым переходам.
Для пользователя потенциальный эффект двоякий: с одной стороны, игры будут работать лучше на видеокарты с 8 ГБ видеопамяти или меньшеЭто очень актуально для европейского рынка, а с другой стороны, для игр, которые позволяют повысить разрешение текстур без увеличения минимальных требований к памяти.
Сдвиг парадигмы от традиционного сжатия текстур
В большинстве современных игр для хранения текстур непосредственно в памяти графического процессора используется формат BCN. Эти форматы делят изображение на блоки и применяют их к текстуре. методы сжатия фиксированного типаОни быстрые, высоко оптимизированы по аппаратному обеспечению и уже много лет являются стандартом для ПК и консолей.
Однако у них есть чёткий предел: для поддержания определённого визуального качества им необходимо минимальное пространство на тексельВ средах с текстурами 4K или огромным количеством материалов это легко приводит к заполнению видеопамяти. Ситуация усугубляется в играх с открытым миром, плотной городской застройкой или проектами с большим количеством косметических эффектов, что очень распространено в современных играх.
Нейронное сжатие текстур предлагает иной подход. Вместо использования фиксированной схемы сжатия, оно опирается на модели машинного обучения, предварительно обученные на больших наборах текстур и материалов. Эти нейронные сети обучаются... кодировать и восстанавливать визуальные образы более эффективно чем обычный алгоритм, особенно при работе с очень разнообразным контентом.
Таким образом, хранится уже не окончательная текстура, а сжатое представление, которое затем расширяется по запросу. Интенсивное использование тензорных ядер, имеющихся в графических процессорах GeForce RTX, позволяет выполнять эти операции вывода параллельно с остальными графическими задачами, не перегружая основные ресурсы, выделенные на растеризацию и затенение.
Влияние на видеоигры: снижение требований и повышение качества.
Прямым следствием всего этого является возможное значительное снижение минимальных требований к видеопамяти Для игр, использующих технологию NTC. Если текстуры, которые во многих играх обычно занимают от 50% до 70% всего видеопамяти, требуют значительно меньше места, то останется больше места для остальных элементов движка.
Это открывает ряд интересных возможностей для европейских и испанских студий, разрабатывающих игры для ПК и консолей, таких как: PlayStation 6Среди потенциальных преимуществ NVIDIA и различные аналитики указывают на возможность Используйте текстуры более высокого разрешения на компьютерах с меньшим объемом памяти.Таким образом, обеспечивается баланс между игроками с самым современным оборудованием и теми, у кого более скромные видеокарты.
Размер установленных программ и обновлений также имеет значение. Более эффективное сжатие ресурсов может привести к тому, что... игры занимают меньше места на диске и то, что обновления будут весить меньше, что уже беспокоит как пользователей ПК с ограниченными SSD-накопителями, так и тех, кто играет на консолях с ограниченным объемом памяти.
В сфере потоковой передачи ресурсов, столь важной для игр с открытым миром и игр, загружающих данные по запросу, меньший размер текстур может помочь уменьшить узкие места в пропускной способностиЭто приведет к уменьшению зависаний, более плавной загрузке и более стабильной работе, даже при запуске игры с дисков, которые не отличаются высокой скоростью.
Преимущества для видеокарт среднего ценового сегмента и ноутбуков.
Один из вопросов, вызвавших наибольший интерес в сообществе, — это влияние, которое нейронное сжатие текстур может оказать на видеокарты с 8 ГБ видеопамяти или меньшеочень широко распространены на испанском и европейском рынке, включая некоторые консоли, такие как Xbox Series XВо многих последних релизах этот тип графического процессора уже сталкивается с явными ограничениями при сочетании высокого разрешения и текстур сверхвысокого качества.
Если благодаря NTC освободится значительная часть памяти, то эти же игры смогут активироваться. более агрессивная настройка текстур без перегрузки видеопамятиНа практике это может привести к уменьшению резких падений производительности при загрузке новых областей, снижению зависаний, связанных со скачками использования памяти, и более комфортной работе на дисплеях с разрешением 1440p или даже 4K при сбалансированных настройках.
Портативные системы, как игровые, так и нетребовательные рабочие станции, также выиграют от этого. Хотя многие современные ноутбуки оснащены графическими процессорами RTX, их Объем видеопамяти обычно более ограничен. чем его настольные аналоги. Технология, которая уменьшает размер текстур без ухудшения качества изображения, особенно интересна для этого типа оборудования.
Для небольших или независимых студий, распространенных в Европе, снижение требований к видеопамяти может оказаться полезным. расширить потенциальную базу пользователей без ущерба для безупречного визуального оформления. Это, в свою очередь, соответствует общей отраслевой тенденции к поиску интеллектуальных оптимизаций, выходящих за рамки грубой силы аппаратного обеспечения.
Нейронные материалы и другие оптимизации на основе ИИ.
Нейронное сжатие текстур — не единственный пример. Компания NVIDIA также представила концепцию... Нейронные материалыЭто дополнительная технология, направленная на упрощение обработки материалов в графическом конвейере. Вместо обработки множества отдельных каналов для каждого сложного материала информация сжимается в более компактное представление, которое небольшая нейронная сеть декодирует в реальном времени.
В ходе одной из технических демонстраций было показано, как работает набор материалов, который изначально требовал 19 различных каналов можно было бы сократить до восьми. Используя этот нейронный подход, согласно предоставленным данным, такое упрощение привело к улучшению производительности в 1,4–7,7 раза при разрешении 1080p, в зависимости от сцены и настроек модели.
Ключевым моментом является то, что эти сети достаточно легковесны, чтобы их можно было интегрировать непосредственно в шейдеры, работающие на графическом процессоре. Благодаря тензорным ядрам, присутствующим начиная с серии GeForce RTX 20, стоимость этих операций остается под контролем, что позволяет Применяйте эти оптимизации миллионы раз для каждого кадра. без блокировки остального процесса рендеринга.
Компании NTC и Neural Materials совместно стремятся к созданию гибридной конвейерной модели, в которой традиционная растеризация и трассировка лучей сосуществуют с конкретные блоки нейронного выводаВ этом сценарии ИИ не только повышает резкость итогового изображения, но и выполняет структурные задачи, такие как сжатие, затенение и управление памятью.
Графическое будущее, сформированное искусственным интеллектом.
Хотя NVIDIA пока не назвала конкретную дату внедрения нейронного сжатия текстур в коммерческих играх в больших масштабах, демонстрации, показанные на таких мероприятиях, как GDC и GTC, ясно показывают, что компания хочет, чтобы эта технология получила широкое распространение. Станьте частью следующего поколения скачка в графическом дизайне..
В экосистеме ПК наблюдается внедрение API и расширений, таких как Кооперативные векторы в DirectX 12 Это открывает путь для работы подобных нейронных ядер на оборудовании других производителей. AMD уже объявила о поддержке в будущих архитектурах RDNA4, Intel работает над аналогичными инициативами для своих графических решений, а такие компании, как... Sony совершенствует визуальные вычисления..
Если эта перекрестная поддержка будет укреплена, нейронное сжатие текстуры может стать фактический стандарт в отраслиЭто выгодно студиям всех размеров. Для европейских геймеров это может означать увеличение срока службы существующих графических процессоров, поскольку ограничения по объему видеопамяти станут менее значимым фактором в играх, использующих эти технологии.
Параллельно производители консолей могли бы использовать эти решения для дальнейшего увеличения объема встроенной памяти своих систем, что особенно важно в системах с длительным жизненным циклом, где каждая оптимизация имеет значение. Все указывает на то, что следующая крупная битва в области графики будет вестись не только за счет чистой мощности, но и за счет... как обрабатываются и сжимаются данные, поступающие в каждую сцену.
Предложение NVIDIA с использованием нейронного сжатия текстур и связанных с ним технологий соответствует уже заметному в индустрии изменению приоритетов: вместо бесконечного увеличения памяти и вычислительной мощности, цель состоит в том, чтобы искусственный интеллект делал больше с меньшими затратами. Если показатели, показанные в демонстрациях — с уменьшением объема видеопамяти примерно на 85% и улучшением производительности нейронных материалов — перенесутся на коммерческие игры, игроки в Испании и по всей Европе смогут получить визуально более амбициозные, лучше оптимизированные и менее ресурсоемкие игры, чего еще совсем недавно казалось трудно достичь без ущерба для качества.
