Спустя пять месяцев после проведения теста, который выявил сильные стороны умных колонок различных компаний в разных категориях, Loup Ventures вновь опубликовала результаты IQ-теста, полностью посвященного цифровым ИИ-помощникам. Для получения необходимых результатов исследователи задали Siri, Google Assistant, Alexa и Cortana по 800 вопросов на смартфоне и сравнили полученные данные с результатами предыдущего ИИ-теста, проведенного в апреле 2017 года.
В новом тесте Siri, ИИ-помощник Apple понял 99% запросов и правильно ответил на 78,5% из них. Это улучшение по сравнению с аналогичным тестом, ориентированным на ИИ, проведенным в апреле 2017 года (66,1% правильно отвеченных вопросов из 800). Хотя Loup Ventures придерживалась схожих методологий при тестировании умных колонок в феврале, исследователи объясняют, что «не имеет смысла сравнивать» результаты этих тестов, поскольку «сценарии использования цифровых помощников и умных колонок сильно различаются».
Это особенно справедливо для Siri на HomePod, которая показывает хорошие результаты в определенных областях, но в основном ограничена объемом действий, которые она может выполнять на самой колонке. Это привело к тому, что HomePod от Apple занял «последнее место» в тесте производительности ИИ-помощников в рамках исследования умных колонок Loup Ventures в феврале, где Siri правильно ответила на 52,3% из 782 общих вопросов в тех же пяти категориях, что и в новом тесте.
Loup Ventures оценивает каждого цифрового помощника по двум метрикам: «Понял ли он, о чем его спросили?» и «Предоставил ли правильный ответ?». Вопросы были разделены на пять категорий, включая Локальные (пример: «Где находится ближайшая кофейня?»), Коммерческие («Можешь заказать мне еще бумажных полотенец?»), Навигационные («Как мне доехать до центра на автобусе?»), Информационные («С кем сегодня играют Твинс?») и Командные («Напомни мне позвонить Стиву сегодня в 2 часа дня»).
Вопросы были заданы Siri на iPhone под управлением iOS 11.4, Google Assistant на Pixel XL, Alexa в приложении для iOS и Cortana в приложении для iOS. Лучшей категорией для Siri стала «Командная» (90% правильно отвеченных вопросов), опередив всех конкурентов при запросах на управление функциями iPhone, продуктами умного дома, Apple Music и многим другим. После «Командной» категории Siri показала хорошие результаты в «Локальных» (87%) и «Навигационных» (83%) запросах, начав снижаться в «Информационных» (70%) и «Коммерческих» (60%).
Google Assistant превосходит во всех категориях, кроме «Командной». Преимущество Siri над Ассистентом в этой категории несколько неожиданно, учитывая, что оба они встроены в операционную систему телефона, а не работают как сторонние приложения (как Cortana и Alexa). Мы обнаружили, что Siri немного более полезна и универсальна (реагируя на более гибкие формулировки) при управлении вашим телефоном, умным домом, музыкой и т. д. Наш набор вопросов также включает довольно много запросов, связанных с музыкой (самое частое действие для умных колонок). Apple, верная своим корням, позаботилась о том, чтобы Siri была функциональна с музыкой как на мобильных устройствах, так и на умных колонках.
Google Assistant стал лучшим цифровым помощником во всех категориях, кроме «Командной», при этом Loup Ventures особенно отметила функцию Google «избранные фрагменты», которая зачитывает результаты поиска по голосовым запросам и часто является «именно тем, что вы ищете». И Alexa, и Cortana показали более низкие результаты в тесте из-за ограничений, накладываемых приложением для iOS на возможности этих ассистентов на iPhone, в отличие от Siri, способной выполнять задачи по всей системе iOS, а не только в одном приложении.
В общей сложности Google Assistant правильно ответил на 85,5% из 800 заданных вопросов и понял их все, по сравнению с 78,5% правильно отвеченных и 11 непонятых у Siri. Alexa правильно ответила на 61,4% вопросов и не поняла 13, в то время как Cortana оказалась «отстающей», правильно ответив на 52,4% вопросов и не поняв 19.
За 15 месяцев с апреля 2017 года Siri улучшила свои показатели на 13 процентных пунктов, при этом Loup Ventures отметила, что была «впечатлена скоростью развития технологий» большинства ассистентов. Исследователи далее пояснили, что многие проблемы, с которыми они столкнулись в прошлом году, были устранены благодаря «улучшениям в обработке естественного языка и межкомпонентной связи».
Loup Ventures также ожидает дальнейших улучшений, особенно для Siri. Этой осенью цифровой помощник получит новые возможности благодаря предстоящей функции Apple «Быстрые команды Siri» в iOS 12, которая позволит пользователям создавать автоматизации между приложениями, легко запускаемые голосовыми командами. Исследователи заявляют, что они «с нетерпением ждут тестирования этой функции» после ее выпуска в iOS 12, который, вероятно, состоится в сентябре.
