В том, что неудивительно, учитывая бета-статус Siri и использование новых технологий для голосового взаимодействия с мобильными устройствами, исследование аналитика Piper Jaffray Джина Манстера показывает, что возможности Siri по-прежнему уступают традиционным текстовым запросам Google, которые существуют уже много лет.
Исследование включало предъявление Siri 800 запросов в двух средах: тихой комнате и оживленной городской улице, а затем оценку способности Siri правильно интерпретировать запросы и предоставлять правильные ответы. Говоря конкретно о тестировании на открытом воздухе, Манстер отмечает:
В то время как Google понимает 100% поисковых запросов, Siri смогла понять только 83% заданных вопросов на оживленной улице Миннеаполиса. Что касается точности ответов, Siri правильно ответила на 62% запросов на улице по сравнению с предполагаемой точностью ответов Google в 86%. Основываясь на этих результатах, мы ставим Google «отлично» за понимание и «B+» за точность, а Siri — «B» за понимание и «D» за точность.
Но хотя у Siri есть возможности для улучшения, Манстер признает, что технология находится только в зачаточном состоянии, и он остается «оптимистичным относительно ее будущего», ожидая существенных улучшений с выходом iOS 6.
Тестирование Piper Jaffray проводилось с использованием встроенного микрофона iPhone в тихой обстановке и наушников с микрофоном Skullcandy в условиях на открытом воздухе; способность Siri правильно понимать запросы снизилась с 89% до 83% при перемещении на шумную городскую улицу. Что касается точности, рейтинг Google в 86% основан на данных comScore, показывающих, что Google генерирует 1,14 страницы с результатами поиска на один запрос, что предполагает, что примерно в 86% случаев Google предоставляет данные, которые пользователь ищет, в первых нескольких результатах.
Piper Jaffray также проанализировали источники результатов Siri, обнаружив, что Google предоставил 60% ответов, а Yelp и другие источники — остальные.
Из запросов, исключая команды (например, позвонить Джею, отправить сообщение), Google предоставил бы 60% ответов, Yelp — 20%, WolframAlpha — 14%, Yahoo — 4% и Wikipedia — 2%. Далее, анализируя зависимость Siri, Google предоставляет 100% результатов навигации, 61% информационных результатов, 48% коммерческих результатов и 42% местных результатов. Среди других агрегаторов результатов Yelp предоставил наибольшее количество местных (51%) и коммерческих (51%) результатов, в то время как WolframAlpha предоставил 34% информационных результатов.
Манстер полагает, что доля Google в результатах Siri снизится до 48% с выходом iOS 6, поскольку запросы, связанные с навигацией, спортом и кино, будут переданы Apple и ее новым партнерам.
