Визуальный интеллект, функция Apple Intelligence, представленная Apple в прошлом году, получила новые возможности в iOS 26, которые делают ее более полезной и позволяют лучше конкурировать с функциональностью, доступной на некоторых смартфонах Android.

Распознавание содержимого экрана

В iOS 18 ‌Визуальный интеллект‌ работает только с камерой, но в ‌iOS 26‌ он также работает с содержимым вашего устройства. Вы можете сделать снимок экрана и затем использовать функцию «Визуальный интеллект», чтобы определить, что вы видите, найти изображения и получить дополнительную информацию через ChatGPT.

Как использовать функцию «Распознавание содержимого экрана» для «Визуального интеллекта»

‌Визуальный интеллект‌ для снимков экрана работает примерно так же, как и ‌Визуальный интеллект‌ с приложением камеры, но он находится в интерфейсе снимков экрана. Сделайте снимок экрана (удерживая кнопку увеличения громкости и боковую кнопку), а затем выйдите из интерфейса разметки, если он отображается.

Чтобы выйти из разметки (что является видом по умолчанию), нажмите на маленькую иконку ручки в верхней части дисплея. Оттуда вы должны увидеть опции «Визуального интеллекта».

Выделение для поиска

С функцией «Выделение для поиска» для распознавания содержимого экрана в «Визуальном интеллекте» вы можете использовать палец, чтобы обвести объект на снимке экрана, который вы хотите найти. Это похоже на функцию Circle to Search в Android.

«Выделение для поиска» позволяет выполнять поиск изображений для конкретного объекта на снимке экрана, даже если на изображении несколько элементов. По умолчанию используется поиск изображений Google, но Apple продемонстрировала работу этой функции с другими приложениями, такими как Etsy, во время своего основного доклада. Приложениям, вероятно, потребуется добавить поддержку этой функции.

В некоторых случаях «Визуальный интеллект» будет самостоятельно идентифицировать отдельные объекты на изображении, и вы можете нажать, не используя «Выделение для поиска». Это похоже на функцию идентификации объектов в приложении «Фото», но все равно приводит к поиску изображений.

Спросить и найти

Если вам не нужно выделять один объект на снимке экрана, вы можете просто нажать кнопку «Спросить», чтобы задать вопросы о том, что вы видите. Вопросы будут переданы ChatGPT, и ChatGPT предоставит информацию. Кнопка «Найти» запрашивает Google Search для получения дополнительной информации.

Как и в случае со стандартным «Визуальным поиском», если ваш снимок экрана содержит даты, время и связанную информацию о событии, его можно добавить непосредственно в ваш календарь.

Новые возможности идентификации объектов

Apple не упоминала об этом, но «Визуальный интеллект» добавляет поддержку быстрой идентификации новых типов объектов. Теперь он может идентифицировать произведения искусства, книги, достопримечательности, природные объекты и скульптуры, в дополнение к животным и растениям, информацию о которых он мог предоставлять ранее.

Если вы используете «Визуальный интеллект» на объекте, который он способен распознать, вы увидите небольшую светящуюся иконку. Нажатие на нее покажет информацию о том, что находится в кадре. Что примечательно в этом аспекте «Визуального интеллекта», так это то, что он работает с видом с живой камеры или со сделанной фотографией.

Для стандартных запросов «Спросить и найти» с использованием «Визуального интеллекта» вы должны сделать фотографию, чтобы ее можно было передать таким источникам, как ChatGPT или Google Image Search. Произведения искусства, книги, достопримечательности, природные объекты, скульптуры, растения и животные могут быть идентифицированы на устройстве без обращения к другим службам.

Совместимость

«Визуальный интеллект» ограничен устройствами, поддерживающими ‌Apple Intelligence‌, что включает модели iPhone 15 Pro и модели iPhone 16. Он активируется долгим нажатием на кнопку Camera Control на устройствах, имеющих Camera Control, или с помощью кнопки Action Button или переключателя в Центре управления.

Дата запуска

‌iOS 26‌ находится на стадии бета-тестирования прямо сейчас, но будет выпущена для широкой публики в сентябре.