Программа представляет собой код для браузера, воспользоваться которым может любой желающий. Пока алгоритм допускает ошибки, однако для онлайн-инструмента его результаты выглядят весьма достойными. Это первая подобная программа, работающая в режиме реального времени.
На веб-сервиса GitHub появился [3] код для браузера, который позволяет удалять людей из видео в режиме реального времени. Алгоритм распознает структуру фона и на ее основе достраивает недостающие куски изображения, которые раньше занимала человеческая фигура.
Для разработки кода использовалась система машинного обучения TensorFlow.js. Запустить ее в браузере можно с помощью JavaScript.
Автор кода отмечает, что его разработка — эксперимент, так что она не всегда справляется с задачами идеально. Действительно, на представленном образце видео хорошо заметны многочисленные артефакты. Тем не менее, для онлайн-инструмента алгоритм выглядит весьма достойно.
Код доступен для применения и модификации любыми желающими. Например, на сайтах Codepen.io [4] и Glitch.com [3] можно протестировать его для собственной веб-камеры.
Идея использовать алгоритмы для удаления людей с видео не нова. На протяжении последних лет появилось как минимум несколько подобных программ. Однако, в отличие от новой разработки, ни одна из них не работает с видео в режиме реального времени.
В теории новый алгоритм можно будет внедрять не только в браузеры, но и в программное обеспечение для видеокамер. Это позволит «стирать» с них определенных людей — например, подозреваемых в преступлениях.
Ранее в сети появилась [5] обработанная версия знаменитого короткометражного фильма братьев Люмьер «Прибытие поезда на вокзал Ла-Сьота». С помощью алгоритмов качество записи удалось поднять до современных стандартов.
Cергей Коленов, Хайтек+ [6]