С ростом числа открытых моделей искусственного интеллекта запуск их на личном компьютере стал реальной опцией для многих пользователей. По анализу Epoch AI от 29 мая, лучшие открытые модели отстают от закрытых примерно на четыре месяца в среднем — разрыв существенно сократился, а ряд высококачественных моделей уже запускается на обычном железе.
Главные инструменты для локального использования — свободные программы Ollama и LM Studio. LM Studio подойдёт тем, кто предпочитает графический интерфейс и обещает полностью офлайн‑работу после загрузки весов, а Ollama ориентирован на разработчиков и CLI: команда ollama pull скачивает модель, а ollama run запускает чат. Вес файла модели может варьироваться от нескольких гигабайт до десятков — в библиотеке Ollama Gemma 4 занимает от ~4,6 до 20 ГБ в зависимости от варианта.
Что касается железа, базовый порог — около 8 ГБ видеопамяти или unified memory на Mac для небольших моделей, но для серьёзной работы рекомендованы 16–24 ГБ и более. Крупнейшие сети, вроде Alibaba Qwen 3.8‑Max с триллионами параметров, недоступны для потребительских систем: их требования значительно превышают возможности обычных GPU и требуют серверных конфигураций. Технологии квантования и оптимизации помогают уместить модели в меньшей памяти, жертвуя частью точности.
Локальные модели привлекают приватностью и возможностью кастомизации: лицензии Apache и MIT позволяют модифицировать и использовать веса свободно. При этом облачные сервисы всё ещё лидируют по мощности и скорости на тяжёлых задачах и по размерам контекстного окна — большие варианты Gemma, например, дают до 128K–256K токенов. Выбор между локальным запуском и облаком теперь зависит от приоритетов — приватность и контроль против производительности и простоты использования.