Нейросети продолжают развиваться и захватывать всё новые области. Topaz Video AI создана для работы с видео: нейросеть умеет чистить его от шумов, стабилизировать трясущуюся картинку, увеличивать разрешение вплоть до 16К и частоту кадров (чтобы сделать видео более плавным или превратить обычный ролик в slow-motion). Всё это поможет сделать хорошее видео ещё лучше, а в некоторых случаях и спасти бракованный материал, сэкономив время и деньги на пересъёмку. 

Topaz Video AI поможет проводить меньше времени перед монитором: работает неторопливо, так что вы вполне успеете сходить погулять и выпить кофе, пока он обрабатывает видео / Фото: careergirls.org

Подойдёт Topaz Video AI и для реставрации семейных видеоархивов: если свадебный фильм родителей плохо выглядит на современном 4К-телевизоре, можно попробовать его спасти с помощью нейросетей от Topaz Labs.

Интерфейс Topaz Video AI

Тем, кто пользуется продуктами Topaz для работы с фотографиями, интерфейс Topaz Video AI покажется знакомым. Но есть и отличия. В нейросетевых программах для работы с фото (Topaz Denoise AI, Topaz Sharpen AI) можно доверить автоматике анализ изображения и подбор подходящих настроек, и в 80% случаев этого хватит для получения хорошего результата. А если нужно выбрать нейросетевую модель для работы с изображениями вручную, это сделать довольно просто. Например, в Topaz Sharpen AI для этого нужно указать, что вызвало проблемы с резкостью — промах по фокусу, смаз движения, или просто изображение недостаточно резкое и стоит попробовать универсальную модель.

В Topaz Video AI всё немного сложнее. Во-первых, возможностей автоматического выбора настроек пока нет (в тесте участвовала свежая версия Topaz Video AI 4). Во-вторых, все нейросетевые модели носят имена греческих богов (Аполлон, Артемида, Хронос и прочие Тейи с Иридами). Так что пользователю предлагается самостоятельно решить, выбрать для улучшения качества модель Iris или Artemis, и экспериментально выяснять, кто лучше справляется с создание slow-mo видео — Apollo или Chronos Fast.

Интерфейс Topaz Video AI / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Ещё одно отличие в том, что выбранные настройки не отображаются мгновенно в окне просмотра. Это связано с тем, что работа с видео требует времени даже на мощном компьютере — так что, сперва нужно выбрать все необходимые настройки, и потом нажать кнопку «Preview». После этого Topaz обработает видео и создаст двухсекундное превью, по которому можно оценить результат. А если программа используется в первый раз, время понадобится и на скачивание нейросетевых моделей: в установочном файле их нет, и Topaz Video AI скачивает нужные прямо во время работы.

Стабилизация видео в Topaz Video AI

Если при съёмке не использовался стедикам, а в камере нет хорошего матричного стабилизатора, то итоговое видео будет трясущимся и смотреть его вряд ли кто захочет. Спасти видео можно с помощью стабилизации при обработке. Чтобы сделать это в Topaz Video AI, нужно включить вкладку Stabilization AI и выбрать метод стабилизации.

Методов всего два: Auto-Crop, при котором редактор обрезает изображение по краям для стабилизации, и Full-frame, при котором края кадра дорисовываются с помощью нейросетей, сохраняя угол зрения исходника. Нас интересует именно Full-frame — стабилизировать видео с обрезкой можно в любом другом видеоредакторе, и будет это гораздо быстрей. 

Во вкладке Stabilization AI можно задать силу стабилизации и попробовать избавиться от эффекта rolling shutter, включив соответствующую галочку / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Тестировали стабилизацию на трясущемся ролике, снятом на экшн-камеру из окна судна на воздушной подушке. Topaz справился хорошо, тряска заметно уменьшилась, а угол зрения сохранился, каких-то искажений по углам не видно. Правда, времени на это ушло немало: на стабилизацию 18-секундного кусочка в FullHD на тестовом компьютере ушло около 20 минут, а основная нагрузка была на видеокарту Geforce GTX1650.

Для сравнения, стабилизация того же видео в Adobe Premiere заняла меньше минуты, но за скорость пришлось заплатить обрезанными краями и уменьшающимся углом зрения.

Уменьшение шума в Topaz Video AI

Лучший способ получить видео без шума — сразу снимать его так, чтобы оно не шумело. Для этого стоит взять полнокадровую камеру с высокими рабочими ISO, светосильный объектив и снимать при хорошем свете. Но так получается не всегда: иногда нужно снять практически в темноте на камеру с маленькой матрицей, которая шумит уже при ISO 400-800, а потом уже решать, как улучшить отснятое.

Мы попытались очистить от шума старое видео с дрона, снятое на первый Mavic Air, который на ISO 1600 даёт очень выраженный шум. Работа с шумом в Topaz Video AI происходит во вкладке Enhancement. В ней много ИИ-моделей для разных задач, и две из них подходят для уменьшения шума: Nyx HQ Denoise и Artemis Denoise/Sharpen.

Используя модель Nyx HQ Denoise, можно вручную задать степень шумоподавления и другие параметры. А в Artemis Denoise/Sharpen можно лишь выбрать, насколько качественный у вас исходник (в нашем случае — Low quality) / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

На тестовом компьютере удалось запустить только шумоподавление с помощью модели Artemis Denoise/Sharpen, при этом на обработку одной (!!!) секунды 4К-видео ушло три с половиной минуты. А модель Nyx HQ Denoise и вовсе не сработала ни на 4К, ни на FullHD исходнике: компьютер гудел, нагрузка на процессор и видеокарту выросла до 100%, но за 10 минут прогресс так и не сдвинулся с 0%.

Результат работы ИИ-шумодава в Topaz Video AI, модель Artemis Denoise/Sharpen. Видно, что исходное видео (слева) страдает и от шумов, и от попыток их подавить прямо при съёмке. После шумодава (справа) шумов и артефактов нет. А яркая точка вверху кадра — это не горячий пиксель, это Юпитер. Его нейросетевой шумодав не стёр / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Как сделать из обычного видео Slow-mo в Topaz Video AI

Некоторые моменты лучше смотрятся в замедленном в 4-10 раз виде. Это могут быть разлетающиеся залпы фейерверка, полёт букета невесты или эффектный вход в поворот на гоночной машине. Но чтобы замедлить видео на монтаже, оно изначально должно быть снято с повышенной частотой кадров (120 к/с для 5х замедления, 240 к/с для замедления в 8-10х). Многие современные камеры и даже смартфоны способны на такое. 

Если же камера не умеет снимать с такой скоростью (или оператор не успел переключиться в нужный режим и снял всё с обычной частотой 25 к/с), можно получить красивое замедленное видео с помощью нейросетей. Topaz Video AI умеет дорисовывать промежуточные кадры, чтобы замедленное видео оставалось плавным. 

Находятся нужные модели во вкладке Frame Interpolation. Их здесь четыре: Apollo, Apollo Fast, Chronos и Chronos Fast. Как понятно из названия, модели с приставкой Fast работают быстрее, но рисуют кадры не так тщательно. 

Степень замедления может быть от 2х до 16х, но больше чем в 6х замедлять не стоит — качество становится заметно хуже / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

На замедление двух секунд FullHD видео в 4х у Apollo Fast ушло около 3 минут, модели Apollo понадобилось почти 11 минут, а  Chronos Fast — 21 минута. Медленную модель Chronos запускать не стали, слишком долго пришлось бы ждать. А то, что получилось у разных моделей, можно увидеть в этом видео:

Восстанавливаем видео из семейного архива с помощью Topaz Video AI

Чтобы снятое 10 лет назад выглядело достойно на современном мониторе, придётся задействовать сразу несколько вкладок Topaz Video AI. У нас есть вот такое видео, снятое давным-давно на мыльницу Canon, разрешение 640х480 пикселей и 30 к/с.

Попробуем сделать из него FullHD (1920x1080 пикселей). И здесь есть одна тонкость. В первую очередь нужно открыть вкладку Enhancement, и выбрать в ней нужную модель. Так как на видео есть люди (и собаки, но это не столь важно), выбираем модель Iris — она хорошо подходит для отрисовки человеческих лиц. 

И теперь в самой верхней вкладке видео выбираем разрешение итогового видео (output resolution). Если сделать это с самого начала, вкладка Enhancement будет неактивна, и модель для улучшения в ней выбрать будет невозможно. Так как у исходного видео соотношение сторон 4:3 (640х480), а мы делаем из него 16:9 (1920х1080), возможны два варианта — либо дорисовать справа и слева чёрные поля, либо обрезать исходник сверху и снизу, чтобы полностью заполнить кадр.

Даже на превью видно, что видео стало больше и резче, а люди остались похожи на самих себя / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

И вот что получилось спустя 29 минут:

Выводы 

Topaz Video AI — мощный инструмент, способный улучшить хорошее видео и спасти старое или плохое. Но он очень требователен к ресурсам, и для полноценной работы понадобится мощный современный компьютер с быстрым процессором, мощной видеокартой и большим количеством оперативной памяти. Работает нейросетевой улучшатель не очень быстро, так что быстрее будет сразу снимать красиво и качественно, чтобы не сидеть потом часами перед экраном.