Apple анонсировала крупное обновление Visual Intelligence на WWDC 2025, позволяющее пользователям искать и выполнять действия с любым содержимым, отображаемым в приложениях на их iPhone.

Функция, которая ранее работала только с камерой для идентификации реальных объектов, теперь анализирует содержимое на экране. Пользователи могут задавать ChatGPT вопросы о том, что они просматривают, или искать в Google, Etsy и других поддерживаемых приложениях похожие товары и продукты.

Visual Intelligence распознает определенные объекты внутри приложений – например, выделение лампы для поиска похожих товаров в интернете. Система также обнаруживает события на экране и предлагает добавить их в Календарь, автоматически извлекая даты, время и местоположения.

Доступ к функции выглядит простым: пользователи нажимают ту же комбинацию кнопок, что и для создания снимков экрана. Затем они могут сохранить или поделиться снимком экрана, либо исследовать его далее с помощью Visual Intelligence.

Обновление, по сути, делает Visual Intelligence универсальным инструментом поиска и выполнения действий для всего опыта использования iPhone. Apple заявляет, что функция основана на подходе Apple Intelligence к обработке данных на устройстве, сохраняя конфиденциальность пользователей и предоставляя контекстную помощь в приложениях.