Несколько разработчиков недавно зафиксировали повышенную активность веб-краулера Apple Applebot в логах своих веб-сайтов, что вновь вызвало предположения о том, что Apple может планировать в конечном итоге запустить полноценную поисковую систему. Однако, скорее всего, любое возможное увеличение активности связано с усилиями Apple по улучшению результатов поиска Siri и Spotlight.
Джон Хеншоу, основатель фирмы по анализу цифрового маркетинга Coywolf, начал спекуляции в своем блоге на этой неделе, где он сообщил, что Applebot начал регулярно сканировать его веб-сайты ежедневно, чего он раньше не замечал. А в Твиттере инженер Stack Overflow Ник Крейвер и консультант по цифровому маркетингу Майкл Джеймс Филд также отметили всплески активности Applebot на веб-сайтах, которые они курируют в последние дни.
Well, that’s the first time Applebot went crazy crawling us. I always forget they have a crawler…
— Nick Craver (@Nick_Craver) August 18, 2020
This is very interesting. We’re also seeing massive spike in crawls from applebot too on our sites (From 0 to 6k-7k over last few days) https://t.co/nUMAMty7Du
— Michael James Field (Mikuss) (@Mikuss) August 27, 2020
Как и другие веб-краулеры, Applebot сканирует веб, чтобы помочь определить, как ранжировать результаты поиска на основе нескольких факторов, включая вовлеченность пользователей, релевантность и соответствие поисковых запросов темам и контенту страницы, количество ссылок, полученных страницей от других веб-сайтов, и характеристики дизайна страницы.
Как отметил Хеншоу, в июле Apple обновила свой документ поддержки Applebot с новыми деталями:
• Добавлено, как проверять трафик от Applebot
• Расширены сведения о user agent Applebot, включая различия между его десктопной и мобильной версиями
• Расширены правила robots.txt
• Добавлен раздел, указывающий, что они не просто сканируют HTML, но и рендерят страницы, аналогично Google
• Добавлен раздел о ранжировании поиска и факторах, влияющих на ранжирование результатов веб-поиска
Учитывая, что Apple позиционирует себя как компанию, ориентированную на конфиденциальность, без бизнес-модели, основанной на рекламе или данных, как у Google или Facebook, неясно, захочет ли она когда-либо идти по пути запуска полноценной поисковой системы, хотя DuckDuckGo по крайней мере показал, что это можно сделать с учетом конфиденциальности.
Идея поисковой системы Apple обсуждалась как минимум с 2015 года, когда Apple впервые подтвердила свой Applebot и разместила ряд вакансий, связанных с поиском.
На данный момент Applebot, скорее всего, останется сосредоточенной на улучшении результатов поиска Siri и Spotlight, как указано в документе поддержки Apple. Например, во время своего основного доклада на WWDC в июне Apple заявила, что Siri может предоставлять более чем в 20 раз больше фактов, чем три года назад.
