Исследователи из США и Китая провели испытания с целью продемонстрировать, что «скрытые» команды, или те, которые не воспринимаются человеческим ухом, могут достигать AI-ассистентов, таких как Siri, и заставлять их выполнять действия, которые их владельцы никогда не предполагали. Исследование было освещено в сегодняшней статье The New York Times, где предполагается, что эти подсознательные команды могут набирать номера телефонов, открывать веб-сайты и совершать другие потенциально вредоносные действия, если попадут не в те руки.
Группа студентов из Калифорнийского университета в Беркли и Джорджтаунского университета опубликовала исследовательскую работу в этом месяце, заявив, что они смогли встроить команды в музыкальные записи или устную речь. При воспроизведении рядом с Amazon Echo или Apple iPhone человек слышал бы только песню или говорящего, в то время как Siri и Alexa «могли бы услышать команду добавить что-то в ваш список покупок». Или, что более опасно, разблокировать двери, перевести деньги с вашего банковского счета и совершить покупки онлайн.
Метод, с помощью которого студенты смогли реализовать скрытые команды, не должен вызывать беспокойства у широкой публики, но один из авторов статьи, Николас Карлини, считает, что злоумышленники уже могут добиваться успехов с помощью подобных технологий.
«Мы хотели посмотреть, сможем ли мы сделать это еще более скрытным», — сказал Николас Карлини, студент пятого курса аспирантуры по компьютерной безопасности в U.C. Berkeley и один из авторов статьи.
Г-н Карлини добавил, что, хотя нет никаких доказательств того, что эти методы вышли за пределы лаборатории, возможно, лишь вопрос времени, когда кто-то начнет их использовать. «Я полагаю, что злоумышленники уже нанимают людей, чтобы они делали то, что делаю я», — сказал он.
В прошлом году исследователи из Принстонского университета и Чжэцзянского университета в Китае провели аналогичные испытания, продемонстрировав, что AI-ассистентов можно активировать с помощью частот, не воспринимаемых человеком. В рамках техники под названием «DolphinAttack» исследователи создали передатчик для отправки скрытой команды, которая набирала определенный номер телефона, в то время как другие тесты делали снимки и отправляли текстовые сообщения. Однако сообщается, что «DolphinAttack» ограничен в плане дальности действия, поскольку он «должен находиться близко к принимающему устройству».
«DolphinAttack» мог внедрять скрытые голосовые команды в 7 современных систем распознавания речи (например, Siri, Alexa) для активации всегда включенной системы и проведения различных атак, которые включают активацию Siri для инициирования вызова FaceTime на iPhone, активацию Google Now для переключения телефона в режим полета и даже манипулирование навигационной системой в автомобиле Audi.
В еще одном наборе исследований группа из Университета Иллинойса в Урбана-Шампейн доказала, что это ограничение по дальности может быть увеличено, продемонстрировав команды, полученные с расстояния 25 футов. Что касается последней группы исследователей из Беркли, Карлини сказал The New York Times, что он «уверен», что его команда скоро сможет успешно выполнять команды «против любой системы умных устройств на рынке». Он сказал, что группа хочет доказать компаниям, что этот недостаток является потенциальной проблемой, «и тогда надеяться, что другие люди скажут: «Хорошо, это возможно, теперь давайте попробуем это исправить».
В целях безопасности Apple строго контролирует определенные команды Siri, связанные с HomeKit, блокируя их с помощью паролей устройства, когда пользователи включают пароли. Например, если вы хотите разблокировать входную дверь с помощью подключенного умного замка, вы можете попросить Siri сделать это, но вам придется ввести свой пароль на iPhone или iPad после выдачи команды. HomePod, с другой стороны, намеренно лишен этой функциональности.