Руководство Apple подробно рассказало об архитектуре новых моделей Apple Foundation Models (AFM) и разъяснило, как именно технологии Google были задействованы в их разработке.
Крейг Федериги, старший вице-президент Apple по разработке программного обеспечения, в понедельник провел техническую презентацию для прессы (по данным 9to5Mac) совместно с вице-президентом по ИИ Амаром Субраманьей, руководителем разработки Siri Майком Роквеллом и вице-президентом по программному обеспечению Себастьеном Марино-Месом. Они рассказали, как было создано третье поколение семейства AFM и как оно обеспечивает работу Apple Intelligence.
«Мы не используем в Google Assistant вообще ничего», — заявил Федериги, пояснив, что Apple не использует ни одну из моделей Gemini, предоставляемых клиентам Google, ни клиентский код Google, ни инфраструктуру Google Search в качестве основы для своей базы знаний.
Разумеется, у нас нет приложения Gemini в качестве нашего собственного приложения. На самом деле, никакой клиентский код Google не является частью того, как мы работаем в iOS. Для этих моделей мы не используем ни одну из моделей, которые Google развертывает для своих клиентов, равно как не используем инфраструктуру и средства, с помощью которых они это делают. И когда речь заходит о базе знаний, мы, конечно же, не используем Google Search или что-то подобное в качестве фундамента нашей системы.
Субраманья представил новое семейство AFM, которое включает две модели для работы на устройстве и три серверные модели. Уровень «на устройстве» состоит из AFM Core, модели с архитектурой следующего поколения, и AFM Core Advanced, которая использует разреженную архитектуру и является нативно мультимодальной.
По словам Субраманьи, AFM Core Advanced «не похожа ни на одну модель для устройств, которую мы запускали ранее», что позволяет реализовать новые функции, включая приглашения и выразительные голоса, без отправки запросов в облако. На стороне сервера модель AFM Cloud обрабатывает запросы в Private Cloud Compute с оптимизированной задержкой, а AFM Cloud Image обеспечивает функции генерации и редактирования изображений, включая пространственное кадрирование.
Ключевая деталь о сотрудничестве с Google прозвучала в описании того, как обучались эти четыре модели. «Все они созданы специально для Apple Silicon, обучены с использованием проприетарных данных с применением обучения с подкреплением и уточнены с помощью результатов работы передовых моделей Gemini», — сказал он, пояснив, что вклад Google заключался в дистилляции, а не в полном заимствовании Gemini.
Пятая и самая мощная модель, AFM Cloud Pro, предназначена для использования агентных инструментов и решения сложных задач, качество которых, по словам Субраманьи, «сопоставимо с передовыми моделями Gemini». Эта модель знаменует отход от стандартной архитектуры Apple Private Cloud Compute.
Для её запуска Apple работала с Google и Nvidia над расширением своей частной облачной инфраструктуры за счет графических процессоров Nvidia, размещенных в облаке Google. Марино-Мес отметил, что Apple хотела использовать новейшие чипы Nvidia, но потребовала настроить их так, чтобы они не могли считывать содержимое серверов Apple. Решением стала недавняя технология Nvidia под названием «конфиденциальные вычисления с неоднозначностью» (ambiguous confidential compute).
Мы хотели воспользоваться преимуществами новейших технологий Nvidia, поэтому решили расширить возможности нашего Private Cloud Compute за счет стороннего облака.
Федериги описал общую архитектуру системы как организованную вокруг «Системного оркестратора» — программного компонента, который он назвал «ключевым для архитектуры конфиденциальности всей нашей системы». Оркестратор направляет любой запрос к соответствующей модели — на устройстве или в облаке — в зависимости от сложности запроса и требуемого персонального контекста.
Он использует инструментарий App Toolbox для действий внутри приложений, семантический индекс Spotlight для поиска личного контента и контекст на экране для осведомленности в реальном времени. В запросах, касающихся текущих событий, ответы находятся через собственную службу World Knowledge Service от Apple, которую, по словам Федериги, компания создавала в течение нескольких лет.
Apple также заявляет, что вся инфраструктура Private Cloud Compute, включая расширенные мощности графических процессоров Nvidia в облаке Google, может быть независимо проверена сторонними исследователями, чтобы подтвердить, что пользовательские данные никогда не сохраняются и не просматриваются.
macOS Tahoe
macOS Golden Gate
В прошлом году певец Джастин Бибер обратился к социальным сетям, чтобы 
