В своем длинном посте в блоге о десятилетнем плане Facebook «ускорить инновации и обеспечить новые возможности с помощью ИИ», главный технический директор Майк Шрепфер упомянул, что одно из обновлений мобильных приложений компании будет представлять собой инструмент «переноса стиля», который превращает обычные фото и видео в произведения искусства, используя «высокоэффективные нейронные сети», причем все это будет работать непосредственно на смартфонах iOS и Android.
Предстоящее обновление Facebook, по словам Шрепфера, будет полностью работать на смартфоне пользователя и не будет зависеть от отправки контента на серверы, что создает длительное время загрузки и вызывает недовольство пользователей. Технический директор описал это как самое требовательное и «технически сложное» препятствие, которое необходимо преодолеть в процессе добавления функции в мобильные приложения компании, но Шрепфер сказал, что компания справилась с этим, и результатом стала платформа глубокого обучения под названием «Caffe2Go».
Всего три месяца назад мы поставили себе цель сделать то, чего раньше никто не делал: внедрить перенос стиля на основе ИИ в режиме реального времени на мобильных устройствах. Это была серьезная инженерная задача, поскольку нам нужно было разработать программное обеспечение, способное выполнять высокопроизводительные вычислительные операции на устройстве с уникальными ограничениями ресурсов в таких областях, как питание, память и вычислительная мощность. В результате появилась Caffe2Go — новая платформа глубокого обучения, способная захватывать, анализировать и обрабатывать пиксели в режиме реального времени на мобильном устройстве.
Мы обнаружили, что, сократив размер модели ИИ, используемой для обработки изображений и видео, в 100 раз, мы смогли эффективно запускать глубокие нейронные сети как на iOS, так и на Android. Все это происходит у вас на ладони, поэтому вы можете применять стили к видео прямо во время их записи.
Шрепфер сказал, что альтернатива отправки контента в центры обработки данных для анализа и фильтрации «не идеальна для того, чтобы люди могли делиться интересным контентом в моменте». Помимо базовых возможностей фильтрации изображений и видео, новая платформа глубокого обучения также сможет понимать управление жестами, например, при съемке селфи. В сегодняшнем посте в блоге приведен пример пользователя, который проводит пальцем вправо и влево между различными художественными фильтрами для селфи (все работают в режиме реального времени) и даже делает снимок, когда пользователь улыбается.
Для сравнения, обновление во многом похоже на Prisma — приложение, которое вышло летом и впечатлило многих своей способностью превращать фотографии, а позже и видео, в стилизованные изображения. Изначально Prisma использовала серверное сочетание нейронных сетей и искусственного интеллекта для применения различных фильтров к фотографиям пользователей, но обновление также ввело офлайн-обработку изображений, что означало, что пользователи могли использовать некоторые фильтры приложения для изменения своих изображений прямо со своих смартфонов.
Для Facebook это объявление последовало за годом, наполненным анонсами видео от компании, последним примером которых стал план генерального директора и соучредителя Марка Цукерберга сделать камеру более заметной в приложении. Конкретные сроки возможного запуска новых функций в мобильных приложениях Facebook не были названы, но компания явно стремится заложить основу для своего будущего, называя свою новую инициативу в области ИИ, наряду с виртуальной реальностью, «новыми технологиями, которые определят следующее десятилетие».
