Ютубер Дэйв Ли (известный по каналу Dave2D) продемонстрировал, как новый Mac Studio от Apple, оснащенный чипом M3 Ultra, может эффективно запускать огромную версию модели ИИ DeepSeek R1 локально, при условии, что пользователи выберут конфигурацию машины с максимальным объемом памяти 512 ГБ.

Согласно тестам Ли, модель ИИ с 671 миллиардом параметров может быть запущена непосредственно на высокопроизводительной рабочей станции Apple, но это требует значительных ресурсов памяти: она потребляет 404 ГБ хранилища и требует ручного выделения 448 ГБ видеопамяти через команды Терминала.

Унифицированная архитектура памяти M3 Ultra является ключом к этой производительности, позволяя системе эффективно обрабатывать 4-битную квантованную версию DeepSeek R1. Квантование немного снижает точность, но сохраняет все параметры и обеспечивает приблизительно 17-18 токенов в секунду, чего достаточно для многих практических приложений.

Возможно, самое впечатляющее, что Mac Studio справляется с этим, потребляя менее 200 ватт мощности. Сравнительная производительность на традиционном ПК-оборудовании потребовала бы нескольких графических процессоров (GPU), потребляющих примерно в десять раз больше электроэнергии.

Возможность запуска таких продвинутых моделей ИИ локально обеспечивает преимущества конфиденциальности для чувствительных приложений, таких как анализ медицинских данных, где отправка информации в облачные сервисы вызывает опасения по поводу безопасности.

Однако эта производительность обходится недешево – Mac Studio, сконфигурированный с M3 Ultra и 512 ГБ ОЗУ, стоит от 10 000 долларов. В максимальной комплектации Mac Studio с M3 Ultra, 16 ТБ SSD-накопителя и чипом Apple M3 Ultra с 32-ядерным ЦП, 80-ядерным ГП и 32-ядерным Neural Engine стоит целых 14 099 долларов. Конечно, для организаций, которым требуется локальная обработка конфиденциальных данных ИИ, Mac Studio предлагает относительно энергоэффективное решение по сравнению с альтернативными аппаратными конфигурациями.

Apple заявляет, что M3 Ultra — это самый быстрый чип Mac, который когда-либо выпускала компания, благодаря стратегии объединения двух чипов M3 Max с использованием технологии «UltraFusion». Это удваивает характеристики чипа по сравнению с M3 Max.