Content-Aware Fill на стероидах. Новый умный алгоритм Deep Fill

Adobe представила технологию заполнения на основе содержимого (Content-Aware Fill) ещё в 2010 году. Эта функция стала мощным инструментом в арсенале Photoshop. В настоящее время компания дразнит новой технологией под названием Deep Fill. Она поднимает идею заполнения на основе содержимого на новый уровень благодаря использованию искусственного интеллекта.

Deep Fill пытается понять содержание вашей фотографии, так что в результате заполнения снимок не только будет выглядеть реалистично, но также будет иметь смысл.

«Deep Fill работает на основе новой нейронной сети, которая учится генерировать заплатки, выглядящие визуально не отличимыми от остального изображения. При этом они семантически разумны, то есть полностью вписываются в сюжет. Они не просто берут текстуру из соседней области, а дорисовывают недостающее пространство,» говорит Adobe.

Например, старый механизм при удалении пластыря с лица человека мог легко наградить его третьим глазом. Новый алгоритм понимает, что делает, понимает, как должно выглядеть лицо выглядеть и правильно заполняет выделение:

Фотографии на улице легко могут быть очищены от людей, не портя природный ландшафт:

Deep Fill также имеет фокус в рукаве: дайте ему набросок того, что вы хотите получить в результате, и он сделает все возможное, чтобы удовлетворить ваши требования, создав реалистичное заполнение:

Adobe Scene stitch создаёт новые миры

В дополнение к Deep Fill Adobe также представила алгоритм Scene stitch. Он работает так же, как заполнение на основе содержимого, только данные берёт совсем с других фотографий. Scene stitch использует искусственный интеллект и базу данных изображений, чтобы найти подходящее содержимое для заполнения сцны.

«Вместо того, чтобы просто искать данные для фотомонтажа самостоятельно, вы можете использовать Scene stitch, который просматривает другие изображения в сети, например, на Adobe Stock, чтобы найти новые графические элементы.

«Scene stitch не только находит подходящие изображения, но и гармонично их объединяет с основным снимком.»

Одним из примеров, приведенных в демонстрации этой технологии, является снимок, который содержит дорогу. Её нужно удалить:

Используя стандартную заливку на основе содержимого вы не получите качественный результат:

Scene stitch сможет очень быстро проанализировать гигантскую библиотеку Adobe для поиска изображений с элементами, которые могут хорошо подойти к редактируемому снимку:

Результат получается очень реалистичным:

Вот еще пара примеров до и после:

Оригинальная сцена

Сцена заполняется с Adobe Scene стежка.

Оригинальная сцена. То, что должно быть удалено отмечено красным контуром.

Преобразованная сцена.

Другой вариант той же сцены.

«Это больше, чем просто заполнение выделения в изображении,» говорит Adobe. «Это действительно позволяет переосмыслить возможности преобразования и исправления изображений.»

Как и многие из новейших технологий Adobe, Scene stitch работает на основе искусственного интеллекта Adobe Sensei.

Сейчас неизвестно, когда данная технология появится в потребительских продуктах, но наверняка можно ждать их в следующих обновлениях Photoshop.

Автоматическое раскрашивание с Adobe Scribbler

Adobe презентовала технологию под названием Scribbler. Это интерактивная система, работающая на основе искусственного интеллекта, которая может использоваться для автоматического раскрашивания черно-белых фотографий.

Эта система была разработана с использованием искусственного интеллекта Adobe Sensei. Ученые обучили нейронную сеть на десятках тысяч тщательно отобранных фотографий, чтобы научить её распознавать черты лица и заполнять их реалистичными цветами.

Вот два примера черно-белых портретов, которые были автоматически преобразованы в цветные фотографии с помощью Adobe Scribbler:

Раскрашивание может быть сделано с помощью одного щелчка мыши. Для получения дополнительной настройки вы можете сказать Scribbler, как бы вы хотели раскрасить определённые части изображения.

Помимо фотографий, система может также использоваться на набросках и эскизах:

Проект Scribbler публично продемонстрировали на конференции Adobe MAX 2017. Демонстрация была сосредоточена на портретах, но наверняка система будет адаптирована для всех типов фотографии.

Плащ Adobe с функцией заполнения на основе содержимого

Adobe представила много технологий, которые тесно связаны друг с другом. Упор сделан на заполнении фотографий на основе содержимого, только на этот раз упор сделан на видео. Технология называется Cloak.

«Cloak позволяет удалять нежелательные элементы из видео, создавая контент на основе содержимого ли реалистично дорисовывая его.

После создания маски, которая выделяет объект или определённую область в вашем видео, система разумно заполнит её в каждом кадре.

Результаты впечатляют.

Cloak может удалить людей полностью из кадра с динамичной камерой.

Также вы можете удалять небольшие элементы, например, части одежды.

Данная технология может быть очень полезна для удаления штатива или селфи-палки при использовании экшн-камеры или смартфона.

Неизвестно, когда технология появится в конечных продуктах, но многие видеооператоры уже жаждут опробовать её.

Алгоритм превращает цифровые наброски в трехмерные модели

Это мало относится к фотографии, но учитывая возможности Photoshop в работе с 3D графикой, данный механизм будет полезен. Инструмент ProjectQuick3D позволяет превращать примитивные наброски в полноценные трехмерные модели. Пользователю достаточно сделать эскиз, который в общих чертах напоминает необходимый объект. Алгоритм самостоятельно определит, что изображено на рисунке, и подберет соответствующую 3D-модель из встроенной библиотеки.

Предполагается, что ProjectQuick3D будет входить в программные продукты Adobe и пригодится дизайнерам, которые не имеют опыта работы с трехмерной графикой. Создатели инструмента показали его возможности в рамках конференции Adobe MAX 2017, которая проходила в Лас-Вегасе.