Нейросеть Google научилась «дорисовывать» фото и видео за кадром

Искусственный интеллект давно научился корректировать снимки, но разработчики Google решили пойти ещё дальше и создали уникальную нейросеть. Она умеет реалистично дорисовывать картинку за кадром как на статичных фотографиях, так и в вертикальных видеороликах, заменяя раздражающие чёрные полосы «живым» изображением.

Новый алгоритм, созданный командой Google Research, представляет собой генеративно-состязательную нейросеть. При её обучении использовалось сразу два исходных изображения: оригинальный снимок, часть которого (от 25 до 75%)  была залита одним цветом, и маска заливки. Такой подход позволил ИИ сконцентрироваться на области, дорисованной генератором, и повысить качество распознавания.

В качестве исходного материала для обучения был использован датасет Places365-Challenge, включающий более двух миллионов фотографий. В результате алгоритм научился воссоздавать даже отсутствующие на оригинальном снимке детали, не имея исходных данных о картинке вне кадра. Аналогичную технологию разработчики применили и к видеороликам.

Несмотря на явные артефакты по краям изображения, при постановке видео на паузу воссозданные ИИ части кадра практически не отличаются от оригинальной картинки. В перспективе технология может быть использована для коррекции старых видеозаписей или коррекции вертикальных видеороликов. В отличие от профессиональных приложений, такой метод не потребует от пользователя досконального знания тонкостей монтажа.

Источник: 4pda.ru