В посте в блоге на этой неделе инженер-программист Эндрю Россиньоль (мой брат!) подробно рассказал, как ему удалось запустить генеративный ИИ на старом PowerBook G4.
В то время как аппаратные требования для больших языковых моделей (LLM) обычно высоки, эта конкретная модель PowerBook G4 2005 года оснащена всего лишь процессором PowerPC G4 с тактовой частотой 1,5 ГГц и 1 ГБ оперативной памяти. Несмотря на это 20-летнее оборудование, мой брат смог выполнить вывод с моделью LLM Llama 2 от Meta на ноутбуке.
Эксперимент включал портирование проекта llama2.c с открытым исходным кодом, а затем ускорение производительности с помощью векторного расширения PowerPC под названием AltiVec.
Его полный пост в блоге содержит более подробную техническую информацию о проекте.
Похожие примеры генеративных моделей ИИ, работающих на PlayStation 3, Xbox 360, а также на других старых устройствах, время от времени появляются в новостях.
