Начиная с iOS 14 и macOS Big Sur, разработчики смогут добавлять в свои приложения возможность обнаруживать позы человеческого тела и позы рук на фотографиях и видео, используя обновленный фреймворк Vision от Apple, как объясняется в этом докладе с WWDC 2020.

Эта функциональность позволит приложениям анализировать позы, движения и жесты людей, открывая широкий спектр потенциальных функций. Apple приводит несколько примеров, включая фитнес-приложение, которое может автоматически отслеживать выполняемые пользователем упражнения, приложение для обучения безопасности, которое может помочь сотрудникам использовать правильную эргономику, и приложение для редактирования медиафайлов, которое может находить фотографии или видео по сходству поз.

В частности, обнаружение поз рук обещает предоставить новую форму взаимодействия с приложениями. Демонстрация Apple показала, как человек, соединив большой и указательный пальцы, может рисовать в приложении на iPhone, не касаясь дисплея.

Кроме того, приложения смогут использовать фреймворк для наложения эмодзи или графики на руки пользователя, которые будут отражать конкретный жест, например, знак мира.

Другой пример — приложение камеры, которое автоматически запускает захват фото, когда обнаруживает, что пользователь делает определенный жест рукой в воздухе.

Фреймворк способен обнаруживать несколько рук или тел в одной сцене, но алгоритмы могут работать не так хорошо с людьми, которые носят перчатки, сгорбились, перевернуты вверх ногами или одеты в мешковатую или одежду, напоминающую робу. Алгоритм также может испытывать трудности, если человек находится близко к краю экрана или частично перекрыт.

Аналогичная функциональность уже доступна через ARKit, но она ограничена сеансами дополненной реальности и работает только с задней камерой на совместимых моделях iPhone и iPad. С обновленным фреймворком Vision у разработчиков гораздо больше возможностей.