Apple GPT в вашем кармане? Это может стать реальностью раньше, чем вы думаете. Исследователи Apple в области искусственного интеллекта заявляют, что сделали ключевой прорыв в развертывании больших языковых моделей (LLM) на iPhone и других устройствах Apple с ограниченной памятью, изобретя инновационную технику использования флэш-памяти.
LLM и ограничения памяти
Чат-боты на основе LLM, такие как ChatGPT и Claude, требуют огромного количества данных и памяти для функционирования, что является проблемой для таких устройств, как iPhone, которые имеют ограниченную емкость памяти. Чтобы решить эту проблему, исследователи Apple разработали новую технику, которая использует флэш-память – ту же память, где хранятся ваши приложения и фотографии – для хранения данных модели ИИ.
Хранение ИИ во флэш-памяти
В новой научной работе под названием «LLM in a flash: Efficient Large Language Model Inference with Limited Memory» авторы отмечают, что флэш-хранилище в мобильных устройствах более доступно, чем ОЗУ, традиционно используемое для запуска LLM. Их метод хитроумно обходит ограничения, используя две ключевые техники, которые минимизируют передачу данных и максимизируют пропускную способность флэш-памяти:
- Оконное мультиплексирование (Windowing): Представьте это как метод переработки. Вместо загрузки новых данных каждый раз, модель ИИ повторно использует часть уже обработанных данных. Это уменьшает необходимость постоянного чтения из памяти, делая процесс быстрее и плавнее.
- Группировка строк и столбцов (Row-Column Bundling): Этот метод подобен чтению книги большими порциями, а не по одному слову за раз. Эффективно группируя данные, их можно быстрее считывать из флэш-памяти, ускоряя способность ИИ понимать и генерировать язык.
Согласно статье, комбинация этих методов позволяет запускать ИИ-модели размером до вдвое больше доступной памяти iPhone. Это приводит к увеличению скорости работы на стандартных процессорах (CPU) в 4-5 раз и впечатляющему увеличению скорости на графических процессорах (GPU) в 20-25 раз. «Этот прорыв особенно важен для развертывания передовых LLM в средах с ограниченными ресурсами, тем самым расширяя их применимость и доступность», — пишут авторы.
Более быстрый ИИ на iPhone
Прорыв в эффективности ИИ открывает новые возможности для будущих iPhone, такие как более продвинутые возможности Siri, перевод языков в реальном времени и сложные функции на базе ИИ в фотографии и дополненной реальности. Эта технология также подготавливает почву для того, чтобы iPhone могли запускать сложные ИИ-помощники и чат-боты на устройстве, над чем, как уже сообщалось, работает Apple.
Разработки Apple в области генеративного ИИ в конечном итоге могут быть интегрированы в голосовой помощник Siri. В феврале 2023 года Apple провела саммит по ИИ и проинформировала сотрудников о своей работе над большими языковыми моделями. По данным Bloomberg, Apple стремится к более умной версии Siri, тесно интегрированной с ИИ. Apple планирует обновить способ взаимодействия Siri с приложением «Сообщения», позволяя пользователям отвечать на сложные вопросы и более эффективно автозаполнять предложения. Кроме того, по слухам, Apple планирует добавить ИИ в как можно большее количество приложений Apple.
Apple GPT
По сообщениям, Apple разрабатывает собственную модель генеративного ИИ под названием «Ajax». Разработанная как конкурент GPT-3 и GPT-4 от OpenAI, Ajax работает с 200 миллиардами параметров, что указывает на высокий уровень сложности и возможностей в понимании и генерации языка. Внутренне известная как «Apple GPT», Ajax призвана унифицировать разработку машинного обучения во всей Apple, предполагая более широкую стратегию по более глубокой интеграции ИИ в экосистему Apple.
Согласно последним отчетам, Ajax считается более мощной, чем ChatGPT 3.5 предыдущего поколения. Однако также предполагается, что более новые модели OpenAI могли превзойти возможности Ajax по состоянию на сентябрь 2023 года.
Издания The Information и аналитик Джефф Пу утверждают, что Apple представит некоторую функцию генеративного ИИ на iPhone и iPad примерно в конце 2024 года, когда выйдет iOS 18. Пу заявил в октябре, что Apple строит несколько сотен ИИ-серверов в 2023 году, с дальнейшим расширением в 2024 году. Сообщается, что Apple предложит комбинацию облачного ИИ и ИИ с обработкой на устройстве.
