Аналитик Apple Джин Мюнстер из Loup Ventures недавно протестировал точность цифровых ассистентов на четырех умных колонках, задав Alexa, Siri, Google Assistant и Cortana по 800 вопросов соответственно на Amazon Echo, HomePod, Google Home Mini и Harmon Kardon Invoke.

Результаты показывают, что Siri на HomePod правильно ответил на 74,6 процента вопросов, что является значительным улучшением по сравнению с 52,3 процента успешных ответов колонки, когда Loup Ventures задали ей аналогичные 782 вопроса в декабре 2017 года.

Siri на HomePod остался менее точным, чем Google Assistant на Google Home, который правильно ответил на 87,9 процента вопросов в тесте. Тем временем Alexa на Echo и Cortana на Invoke отстали от Siri на HomePod, правильно ответив на 72,5 процента и 63,4 процента вопросов соответственно.

Мюнстер объяснил улучшение точности HomePod «включением большего количества доменов за последний год», поскольку серия обновлений программного обеспечения за последние месяцы позволила колонке совершать и принимать телефонные звонки, планировать события в календаре, устанавливать несколько таймеров, искать песни по тексту и многое другое.

Методология

Loup Ventures заявляет, что задал каждой умной колонке одинаковые 800 вопросов и оценил их по двум показателям: было ли понято обращение и был ли предоставлен правильный ответ. Набор вопросов был разработан для «всестороннего тестирования возможностей и полезности умной колонки» по пяти категориям:

• Местные – Где ближайшая кофейня?
• Коммерция – Можешь заказать мне еще бумажных полотенец?
• Навигация – Как мне добраться до центра на автобусе?
• Информация – Против кого сегодня играют «Твинс»?
• Команда – Напомни мне позвонить Стиву сегодня в 14:00.

Фирма венчурного капитала заявила, что продолжает модифицировать свой набор вопросов, чтобы отразить меняющиеся возможности цифровых ассистентов. «Поскольку голосовые вычисления становятся более универсальными, а ассистенты становятся более способными, мы будем продолжать изменять наш тест, чтобы он оставался исчерпывающим», — сказал Мюнстер.

Результаты по категориям

Google Assistant на Google Home правильно ответил на большинство вопросов в четырех из пяти категорий теста, но уступил Siri на HomePod в категории «команда», по данным Loup Ventures:

Преимущество HomePod в этой категории может быть связано с тем, что HomePod передает полные запросы SiriKit, такие как касающиеся обмена сообщениями, списков и, по сути, всего, кроме музыки, на сопряженное с колонкой устройство iOS. Siri на iPhone имеет глубокую интеграцию с электронной почтой, календарем, сообщениями и другими областями, на которых сосредоточена наша категория «Команда». Наш набор вопросов также содержит немало запросов, связанных с музыкой, на которых специализируется HomePod.

Loup Ventures обнаружили, что HomePod и Google Home значительно превосходят другие колонки в категориях «местные» и «навигация» благодаря проприетарным данным в Apple Maps и Google Maps соответственно. «Эти данные являются потенциальным долгосрочным сравнительным преимуществом для Siri и Google Assistant», — сказал Мюнстер.

Что дальше

Недостатки Siri были жестоко обнажены на HomePod, который почти полностью полагается на ассистента для функционирования, поэтому анекдотичные свидетельства улучшения — это хороший знак, но Apple еще предстоит преодолеть значительное расстояние до своих конкурентов.

Loup Ventures признали, что возможности Siri на HomePod остаются ограниченными по сравнению с расширенными возможностями на iPhone. «Отчасти это связано с явным позиционированием Apple HomePod не как «умной колонки», а как домашней колонки, с которой можно взаимодействовать с помощью голоса и встроенного Siri», — сказал Мюнстер.

Фирма венчурного капитала заявила, что продолжит сравнивать HomePod с другими умными колонками по мере быстрого развития искусственного интеллекта.