Стивен Леви опубликовал подробную статью об усилиях Apple в области искусственного интеллекта и машинного обучения после встречи с топ-менеджерами Крейгом Федериги, Эдди Кью, Филом Шиллером и двумя специалистами Siri в штаб-квартире компании.

Apple предоставила Леви возможность более подробно изучить, как машинное обучение глубоко интегрировано в программное обеспечение и сервисы Apple, начиная с Siri, которая, как выяснилось в статье, с 2014 года работает на основе нейронных сетей. Apple заявила, что это изменение серверной части значительно повысило точность персонального помощника.

«Это был один из тех моментов, когда скачок был настолько значительным, что пришлось перепроверить тест, чтобы убедиться, что никто не пропустил десятичную точку», — говорит Эдди Кью, старший вице-президент Apple по интернет-программному обеспечению и сервисам.

Алекс Асеро, руководитель команды Siri по распознаванию речи в Apple, заявил, что в большинстве случаев частота ошибок Siri была снижена более чем в два раза.

«Частота ошибок сократилась вдвое во всех языках, а во многих случаях — более чем вдвое», — говорит Асеро. «Это в значительной степени связано с глубоким обучением и тем, как мы его оптимизировали — не только сам алгоритм, но и в контексте всего сквозного продукта».

Асеро рассказал Леви, что ему удалось напрямую работать с командой разработчиков аппаратного обеспечения Apple и инженерами, которые пишут прошивку для устройств iOS, чтобы максимизировать производительность нейронной сети, а Федериги добавил, что разработка Apple как аппаратного, так и программного обеспечения дает ей «невероятное преимущество» в этой области.

«Дело не только в кремнии», — добавляет Федериги. «Дело в том, сколько микрофонов мы ставим на устройство, где мы их размещаем. Как мы настраиваем аппаратное обеспечение, эти микрофоны и программный стек, который выполняет обработку звука. Это все эти компоненты вместе. Это невероятное преимущество по сравнению с теми, кто должен создать какое-то программное обеспечение, а затем просто посмотреть, что получится».

Усилия Apple в области машинного обучения выходят далеко за рамки Siri, о чем свидетельствуют несколько примеров, приведенных Леви:

Вы видите это, когда телефон определяет вызывающего абонента, которого нет в вашем списке контактов (но он недавно писал вам по электронной почте). Или когда вы проводите пальцем по экрану, чтобы получить список приложений, которые вы, скорее всего, откроете следующими. Или когда вы получаете напоминание о встрече, которую вы так и не внесли в свой календарь. Или когда появляется местоположение карты забронированного вами отеля, прежде чем вы его введете. Или когда телефон указывает вам, где вы припарковали машину, даже если вы его об этом не просили. Все это методы, ставшие возможными или значительно улучшенные благодаря использованию Apple глубокого обучения и нейронных сетей.

Еще одним продуктом, созданным благодаря машинному обучению, является Apple Pencil, который может различать свайп, касание и ввод стилусом:

Чтобы Apple могла включить свою версию высокотехнологичного стилуса, ей пришлось столкнуться с тем фактом, что когда люди писали на устройстве, низ их руки неизбежно касался сенсорного экрана, вызывая всевозможные цифровые проблемы. Использование модели машинного обучения для «отклонения ладони» позволило датчику экрана с очень высокой степенью точности различать свайп, касание и ввод стилусом. «Если это не работает безупречно, это больше не будет хорошим листом бумаги для письма — и Pencil станет плохим продуктом», — говорит Федериги. Если вы любите свой Pencil, благодарите машинное обучение.

На iPhone машинное обучение обеспечивается локальным динамическим кэшем или «базой знаний», размер которой, по словам Apple, составляет около 200 МБ, в зависимости от количества хранимой личной информации.

Это включает в себя информацию об использовании приложений, взаимодействиях с другими людьми, обработке нейронных сетей, моделировании речи и «моделировании событий естественного языка». Она также содержит данные, используемые для нейронных сетей, которые обеспечивают распознавание объектов, распознавание лиц и классификацию сцен.

«Это компактная, но довольно полная база знаний с сотнями тысяч мест и сущностей. Мы локализуем ее, потому что знаем, где вы находитесь», — говорит Федериги. Эта база знаний используется всеми приложениями Apple, включая приложение поиска Spotlight, Карты и Safari. Она помогает при автокоррекции. «И она постоянно работает в фоновом режиме», — говорит он.

Например, Apple использует свою нейронную сеть для захвата слов, которые пользователи iPhone вводят с помощью стандартной клавиатуры QuickType.

К другим данным, которые Apple хранит на устройствах, относится, вероятно, самая личная информация, которую собирает Apple: слова, которые люди набирают, используя стандартную клавиатуру iPhone QuickType. Используя систему на основе нейронной сети, которая отслеживает ввод по мере его ввода, Apple может обнаруживать ключевые события и элементы, такие как информация о рейсах, контакты и встречи — но сама информация остается на вашем телефоне.

Apple настаивает на том, что большая часть машинного обучения происходит локально на устройстве, без передачи личной информации на свои серверы.

«Некоторые люди считают, что мы не можем делать эти вещи с помощью ИИ, потому что у нас нет данных», — говорит Кью. «Но мы нашли способы получить необходимые данные, сохраняя при этом конфиденциальность. В этом вся суть».

«Самые чувствительные вещи мы храним там, где машинное обучение происходит полностью локально на устройстве», — говорит Федериги. В качестве примера он приводит предложения приложений, значки которых появляются при свайпе вправо.

Полная статья на Backchannel содержит еще несколько подробностей о том, как машинное обучение и искусственный интеллект работают в Apple.