В новой статье в своем Журнале машинного обучения Apple подробно рассказала, как Siri на HomePod спроектирована для работы в сложных условиях эксплуатации, таких как воспроизведение громкой музыки, когда пользователь находится далеко от HomePod, или когда в комнате присутствуют другие активные источники звука, такие как телевизор или бытовая техника.

Обзор задачи:

Типичная акустическая среда для HomePod сопряжена со множеством проблем — эхо, реверберация и шум. В отличие от Siri на iPhone, которая работает близко ко рту пользователя, Siri на HomePod должна хорошо работать в условиях дальнего поля. Пользователи хотят вызывать Siri из разных мест, например, с дивана или из кухни, независимо от того, где находится HomePod. Полноценная онлайн-система, решающая все проблемы окружающей среды, с которыми может столкнуться HomePod, требует тесной интеграции различных технологий многоканальной обработки сигналов.

Для достижения этой цели Apple заявляет, что ее инженеры по аудиопрограммному обеспечению и команды разработчиков речи Siri разработали систему многоканальной обработки сигналов для HomePod, которая использует алгоритмы машинного обучения для удаления эха и фонового шума, а также для разделения одновременных источников звука с целью устранения мешающей речи.

Apple сообщает, что система использует шесть микрофонов HomePod и постоянно работает благодаря чипу Apple A8, в том числе и при минимальном энергопотреблении HomePod для экономии энергии. Многоканальная фильтрация постоянно адаптируется к изменяющимся условиям шума и движущимся говорящим, согласно записи в журнале.

Apple далее предоставляет очень технический обзор того, как HomePod смягчает эхо, реверберацию и шум, который мы изложили простыми словами:

• Подавление эха: Поскольку динамики расположены близко к микрофонам на HomePod, воспроизведение музыки может быть значительно громче, чем голосовая команда пользователя «Привет, Siri» у микрофонов, особенно когда пользователь находится далеко от HomePod. Для борьбы с возникающим эхом Siri на HomePod реализует алгоритм многоканального подавления эха.
• Удаление реверберации: Когда пользователь, говорящий «Привет, Siri», отдаляется от HomePod, множественные отражения от комнаты создают реверберационные хвосты, которые снижают качество и разборчивость голосовой команды. Для борьбы с этим Siri на HomePod постоянно отслеживает характеристики комнаты и удаляет позднюю реверберацию, сохраняя при этом компоненты прямого и раннего отражения в сигналах микрофонов.
• Шумоподавление: Дальняя речь обычно загрязнена шумом от бытовой техники, систем отопления, вентиляции и кондиционирования, звуками с улицы, проникающими через окна, и так далее. Для борьбы с этим HomePod использует современные методы улучшения речи, которые создают фиксированный фильтр для каждого произнесенного слова.

Apple заявляет, что протестировала систему многоканальной обработки сигналов HomePod в различных акустических условиях, включая воспроизведение музыки и подкастов на разных уровнях громкости, постоянный фоновый шум, такой как разговоры и дождь, а также шумы от бытовой техники, такой как пылесос, фен и микроволновая печь.

Во время тестирования Apple варьировала расположение HomePod и тестовых субъектов для охвата различных сценариев использования. Например, в условиях гостиной или кухни HomePod размещался у стены и в центре комнаты.

Статья Apple завершается обзором показателей производительности Siri на HomePod с графиками, показывающими, что система многоканальной обработки сигналов Apple привела к повышению точности и сокращению количества ошибок. Желающие узнать больше могут прочитать полную статью в Журнале машинного обучения Apple.