Google внедряет новую функцию Live View в свои приложения Gemini на iOS и Android, позволяя пользователям транслировать свое окружение в Gemini, чтобы получать обратную связь о том, что они видят. Интеграция запускается с сегодняшнего дня.

На демонстрации Gemini определил объекты, на которые смотрел пользователь, исправил неверные предположения о том, что это за объект, и предоставил контекст, отвечая на вопросы. Live View Gemini может идентифицировать объекты в реальном времени, оказывать помощь в проектах DIY (сделай сам) или по благоустройству дома, помогать организовывать пространство, помогать с покупками и многое другое.

Вы также можете поделиться экраном своего iPhone или iPad с Gemini, чтобы получить обратную связь о том, что вы видите в интернете.

Функция Live в Gemini может быть полезна для людей с нарушением зрения или слабовидящих, поскольку она может предоставлять голосовую трансляцию окружения человека в реальном времени. Live построена на базе Project Astra, который Google представил на I/O в прошлом году, и ранее она была развернута на устройствах Pixel.

Этим летом Google также планирует добавить персональный контекст в Gemini для таких функций, как «умный ответ» в Gmail. Gemini сможет использовать соответствующую информацию из всех приложений Google для обеспечения более персонализированного опыта. Например, функция ответа с использованием ИИ в Gmail может звучать как вы, а не иметь общий голос. Она способна сканировать прошлые электронные письма, чтобы соответствовать тону, стилю и выбору слов, а также может искать заметки, документы из Google Диска и многое другое, чтобы добавить контекст в электронные письма.