Apple работает над более продвинутой функциональностью Siri в рамках своего набора функций Apple Intelligence и для подготовки предоставляет разработчикам API App Intents, чтобы приложения были готовы к новым возможностям.

С последней волной бета-версий Apple представила новый API, который позволяет разработчикам делать контент на экране в своих приложениях доступным для Siri и Apple Intelligence. Согласно документации Apple:

Когда пользователь задает вопрос об экранном контенте или хочет выполнить действие с ним, Siri и Apple Intelligence могут получить контент, чтобы ответить на вопрос и выполнить действие. Если пользователь явно запрашивает это, Siri и Apple Intelligence могут отправлять контент поддерживаемым сторонним сервисам. Например, кто-то может просматривать веб-сайт и использовать Siri для получения сводки, сказав или набрав фразу вроде «Привет, Siri, о чем этот документ?»

В бета-версии iOS 18.2 интеграция ChatGPT с Siri позволяет пользователям задавать вопросы о фотографиях и документах, таких как PDF и презентации, и получать о них информацию. Вы можете, например, спросить Siri: «Что на этой фотографии?», и Siri сделает снимок экрана и передаст его ChatGPT. Затем ChatGPT передаст информацию о содержимом изображения, и та же функция работает для PDF и других документов.

Похоже, что интеграция ChatGPT в iOS 18.2 не является функцией распознавания контента на экране, которую Apple планирует для Siri, но она может быть связана с ней. Apple описывает распознавание контента на экране как способность Siri понимать и выполнять действия с тем, что находится на экране. Например, если кто-то отправляет вам адрес в сообщении, вы сможете сказать: «Добавь этот адрес в его контактную карточку», и Siri сделает это. Эта функция недоступна в iOS 18.2, а ChatGPT ограничен анализом снимков экрана, но это несколько запутанно.

Распознавание контента на экране, как и персональный контекст и действия в приложениях, является функцией, которую Apple планирует для Siri, но, вероятно, мы не получим ее в этом году. Многие функции Siri появятся в будущей версии iOS 18, а Марк Гурман из Bloomberg сообщил, что мы можем ожидать их в iOS 18.4, обновлении, которое должно выйти весной 2025 года.

Хотя существует несколько функций Siri, которые появятся только в следующем году, Apple заранее предоставляет разработчикам API, чтобы у них было несколько месяцев на подготовку и чтобы функции были готовы для общественности, когда обновления выйдут.