Коротко
Локальной LLM называют языковую модель с открытыми весами, которая работает на сервере компании или на арендованном GPU в выбранном вами дата-центре. Запросы не уходят к внешнему провайдеру, платы за токены нет, модель не поменяется без вашего решения.
Платить за это приходится железом и людьми. Одна видеокарта класса H100 в аренде стоит в России больше 600 тысяч рублей в месяц, а агенту поддержки на 2000 диалогов через облачный API в российском регионе хватает 5–40 тысяч. Поэтому своя модель нужна не всем. Она оправдана в трёх случаях:
- Данные нельзя выпускать даже в облако: банки, госсектор, медицина, оборонные и промышленные предприятия с закрытым контуром.
- Объём очень большой: миллионы документов в сутки, круглосуточная пакетная обработка, сотни сотрудников с ассистентом.
- Нужен полный контроль над моделью: фиксированная версия, своя донастройка, работа без интернета.
Если ни один пункт не про вас, начните с API в облаке своей страны. Если хотя бы один про вас, ниже разберём, какую модель взять, какой сервер под неё нужен и сколько это стоит. Модели, цены и характеристики проверены по первоисточникам 29 октября 2026 года.
Когда локальная модель нужна, а когда хватит облачного API
Для российских компаний закон о персональных данных требует хранить данные граждан в России, но не требует держать модель у себя. YandexGPT, Alice AI и GigaChat работают в российских облаках, и для большинства агентов этого достаточно. Как настроить такой проект, разобрано в статье ИИ-агент под 152-ФЗ.
В Казахстане похожее правило: по пункту 2 статьи 12 закона «О персональных данных и их защите» персональные данные хранятся в базе, которая находится на территории республики. Банкам и госорганам служба безопасности часто запрещает и облака внутри страны. В Азербайджане закон прямого требования о локализации не содержит, но ограничивает передачу данных за рубеж. А Центральный банк ещё в 2023 году не рекомендовал банкам хранить данные клиентов в иностранных облаках.
Простое правило: если отдел безопасности разрешает облако в своей стране, начните с API и считайте токены. Если не разрешает, считайте сервер. Промежуточный вариант — арендованный GPU в местном дата-центре по договору, где вы контролируете машину и диски.
Какие открытые модели подходят компании
| Модель | Параметры (всего / активных) | Контекст | Лицензия | Что важно |
|---|---|---|---|---|
| gpt-oss-120b | 117B / 5,1B | 131 072 | Apache 2.0 | по заявлению OpenAI помещается на одну GPU с 80 ГБ, есть вызов функций |
| gpt-oss-20b | 21B / 3,6B | 131 072 | Apache 2.0 | работает в 16 ГБ памяти, годится для пилота |
| Qwen3.6-35B-A3B | 35B / 3B | 262 144 | Apache 2.0 | быстрая MoE-модель, вызов инструментов через vLLM |
| Qwen3.8-27B | 27B, dense | 262 144 | Apache 2.0 | свежая плотная модель, август 2026 |
| T-pro-it-2.1 (Т-Банк) | 32B на базе Qwen3-32B | 40 960 | Apache 2.0 | дообучена на русском, по заявлению авторов обходит Qwen3-32B в вызове инструментов |
| GigaChat3.1-10B-A1.8B (Сбер) | 10B / 1,8B | 262 144 | MIT | маленькая и быстрая, для классификации и простых ответов |
| GigaChat3.5-432B-A28B (Сбер) | 432B / 28B | 262 144 | MIT | сильная, но требует сервер на 8 GPU |
| DeepSeek V4.1 Flash | 552B | до 1 млн | MIT | для кластера, а не для одного сервера |
На что смотреть, кроме таблицы:
- Лицензия. Apache 2.0 и MIT разрешают коммерческое использование без условий по выручке. Но не все открытые модели такие. Например, у Qwen3.8-Flash-Next своя лицензия с ограничениями для крупных сервисов, а YandexGPT 5 Lite с открытыми весами требует связаться с Яндексом, если модель выдаёт больше 10 млн токенов в месяц. Перед выбором прочитайте файл LICENSE в репозитории модели.
- MoE или dense. У MoE-моделей (Qwen3.6-35B-A3B, gpt-oss) на каждый токен работает малая часть параметров, поэтому они быстрые. Но в память загружаются все параметры модели, включая те, что на этом токене не работают.
- Русский язык. Открытые модели неплохо говорят по-русски, но разница между ними на ваших задачах может быть большой. Российские модели (T-Pro, GigaChat) обучали с упором на русский язык, поэтому их стоит включать в сравнение. Победителя всё равно определяют ваши вопросы.
Сколько видеопамяти нужно
Грубый расчёт для весов: число параметров умножить на размер одного параметра. В формате BF16 параметр занимает 2 байта, в FP8 — 1 байт, в 4-битных форматах — около половины байта. Сверху нужен запас на KV-кэш, то есть память для контекста всех одновременных запросов. Мы закладываем от 20 до 50% к весам, в зависимости от длины контекста и числа пользователей.
| Модель | Веса | Подходящее железо |
|---|---|---|
| gpt-oss-20b | около 16 ГБ | одна карта на 24–48 ГБ |
| GigaChat3.1-10B-A1.8B в BF16 | около 20 ГБ | одна карта на 48 ГБ |
| Qwen3.6-35B-A3B в FP8 | около 35 ГБ | одна карта на 48–96 ГБ |
| T-pro-it-2.1 в BF16 | около 64 ГБ | одна H100 на 80 ГБ впритык или карта на 96 ГБ |
| gpt-oss-120b (MXFP4) | помещается в 80 ГБ | одна H100 или H200 |
| GigaChat3.5-432B-A28B | сотни гигабайт | сервер на 8 GPU |
Справочно по памяти: у NVIDIA H100 80 или 94 ГБ, у H200 — 141 ГБ, у L40S и RTX 6000 Ada — по 48 ГБ, у RTX PRO 6000 Blackwell — 96 ГБ.
Из этого получаются три типовые конфигурации:
- Пилот. Одна карта на 48–96 ГБ и модель на 20–35B. Хватает для ассистента по документам на десятки сотрудников и для проверки качества.
- Рабочий сервер. Одна-две карты по 80–141 ГБ, gpt-oss-120b или Qwen3.6-35B-A3B с длинным контекстом. Обслуживает агента поддержки и внутреннего ассистента под реальной нагрузкой.
- Большие модели. Сервер на 8 GPU для GigaChat 3.5 или моделей уровня DeepSeek. Нужен, когда средние модели не проходят ваши проверки, а данные всё равно нельзя выпускать наружу.
Сколько стоит локальная LLM
Аренда GPU в российских облаках, цены на октябрь 2026 года:
| Где | Конфигурация | Цена в час | В месяц круглосуточно |
|---|---|---|---|
| Cloud.ru | 1× A100 NVLink | 353,80 ₽ с НДС | ~258 000 ₽ |
| Cloud.ru | 1× H100 NVLink | 854 ₽ с НДС | ~623 000 ₽ |
| Selectel | 1× RTX PRO 6000, 96 ГБ | от 290,15 ₽ | ~212 000 ₽ |
| Selectel | выделенный сервер с H200 NVL | — | от 415 800 ₽ |
У Selectel на странице не сказано, включён ли НДС. Покупку сервера считайте по коммерческим предложениям поставщиков: цены на H100 и H200 в России сильно зависят от канала поставки, и публичного прайса, на который можно опереться, мы не нашли.
Теперь сравним с облачным API. Агент поддержки на 2000 диалогов в месяц с шестью вызовами модели на диалог тратит около 48 млн входных и 3,6 млн выходных токенов. В Yandex AI Studio это примерно 5 500 ₽ на Alice AI LLM Flash и 28 000 ₽ на Alice AI LLM, у GigaChat — от 3 400 до 33 500 ₽ в зависимости от модели. Подробный расчёт — в статье GigaChat API или YandexGPT API.
Разница в десятки раз. Значит, один агент на своём GPU по деньгам не окупится никогда. Окупается одно из двух: требование безопасности, которое иначе не выполнить, или нагрузка, при которой сервер загружен круглые сутки несколькими системами сразу.
Кроме железа в бюджет входят:
- Люди. Кто-то должен обновлять драйверы, модели и сервер инференса, следить за загрузкой и падениями. Это часть ставки DevOps-инженера или договор сопровождения.
- Электричество и охлаждение, если сервер стоит у вас: восьмикарточный сервер потребляет киловатты.
- Обновление моделей. Открытые модели выходят каждые несколько месяцев. Каждый переход требует прогона проверок и иногда новая квантизация.
Софт: на чём запускать модель
Для продакшена стандартом стал vLLM. Он поднимает OpenAI-совместимый сервер, поддерживает вызов инструментов (флаги --enable-auto-tool-choice и --tool-call-parser под конкретную модель) и делит модель между несколькими картами. Для закрытого контура без интернета у него есть офлайн-документация. Для T-Pro авторы рекомендуют SGLang, он похож по возможностям.
Для пилота на одной машине подойдут Ollama или llama.cpp. Оба дают OpenAI-совместимый API, их легко поставить, но под нагрузку десятков пользователей они рассчитаны хуже.
OpenAI-совместимый API важен по простой причине: код агента не зависит от того, где работает модель. Сегодня вы проверяете сценарий через облачный API, завтра переключаете тот же код на свой сервер сменой адреса.
Для поиска по документам рядом с моделью ставят модель эмбеддингов и реранкер: BAAI bge-m3 (MIT, больше 100 языков, до 8192 токенов) или Qwen3-Embedding и Qwen3-Reranker (Apache 2.0). Они маленькие и работают на той же карте.
Что реально тянет агентов и RAG
Ассистент по документам (RAG) лучше всего подходит для локальной модели. Качество здесь решает поиск: нашли нужный абзац — модель на 20–35B перескажет его не хуже большой. Как сделать поиск, который находит, разобрано в статье как построить хороший RAG. На этом же подходе работает наша услуга ИИ-ассистент по документам.
Агент с инструментами сложнее. Ему нужно выбрать правильную функцию, заполнить параметры, прочитать ответ CRM и решить, что делать дальше. Средние открытые модели ошибаются в этом чаще больших облачных. Помогают узкий набор инструментов, строгие схемы параметров и проверка каждого шага кодом, а не моделью. Как устроены такие агенты, описано на странице разработки ИИ-агентов.
Классификация и извлечение полей (разбор заявок, сортировка писем, поля из счетов) хорошо работают даже на маленьких моделях вроде GigaChat3.1-10B или gpt-oss-20b.
В любом случае модель выбирают по проверке, а не по рейтингу: 30–50 реальных вопросов с правильными ответами, прогон через 2–3 кандидата, сравнение точности, ошибок в инструментах и скорости. Метод — в статье что такое evals. Если локальная модель проигрывает облачной на ваших данных, это тоже результат: вы узнали цену закрытого контура до покупки сервера.
Как запустить пилот локальной LLM
- Опишите один сценарий и соберите 30–50 проверочных вопросов.
- Арендуйте одну карту на 48–96 ГБ в местном облаке на месяц вместо покупки.
- Поднимите vLLM с двумя-тремя моделями-кандидатами и прогоните проверки.
- Подключите победителя к реальному процессу на части пользователей и измерьте нагрузку: сколько одновременных запросов, какая длина контекста, сколько памяти уходит на KV-кэш.
- Только после этого считайте покупку сервера, уже по фактической нагрузке.
Так вы не купите H200 под задачу, с которой справилась бы карта за треть цены. И не купите слабое железо под модель, которая на ваших данных не прошла проверку.
FAQ
Для одного сервера с картой на 80 ГБ хорошие кандидаты — gpt-oss-120b и Qwen3.6-35B-A3B, для русского языка стоит добавить в сравнение T-pro-it-2.1 от Т-Банка. Для пилота на скромном железе подойдут gpt-oss-20b и GigaChat3.1-10B-A1.8B. Окончательный выбор делайте по проверке на своих вопросах.
Аренда одной A100 в Cloud.ru на октябрь 2026 года стоит около 258 тысяч рублей в месяц, одной H100 — около 623 тысяч, карты RTX PRO 6000 на 96 ГБ в Selectel — около 212 тысяч. Цена покупки зависит от поставщика, публичных прайсов на H100 и H200 в России мы не нашли.
Небольшую модель вроде gpt-oss-20b можно запустить на машине с 16 ГБ видеопамяти через Ollama или llama.cpp. Для личных экспериментов этого хватит. Для компании, где модель одновременно обслуживает десятки людей, нужна серверная карта и vLLM.
Для одного агента или ассистента — нет, чаще всего в десятки раз дороже. Облачный API в российском регионе обходится в тысячи или десятки тысяч рублей в месяц, а аренда GPU — в сотни тысяч. Своя модель выигрывает, когда данные нельзя выпускать наружу или когда сервер круглые сутки загружен несколькими системами.
Подойдёт, если модель поддерживает вызов инструментов (gpt-oss, Qwen3.6, T-Pro, GigaChat 3.5), а агент спроектирован под её силы: немного инструментов, строгие схемы, проверка шагов кодом. Средние открытые модели ошибаются в выборе инструментов чаще больших, поэтому проверка на ваших сценариях обязательна.
Источники
- OpenAI, gpt-oss-120b на Hugging Face, 2025: 117B параметров, 5,1B активных, работа на одной GPU с 80 ГБ, лицензия Apache 2.0.
- Qwen, Qwen3.6-35B-A3B на Hugging Face, 2026: 35B параметров, 3B активных, контекст 262 144, запуск в vLLM с вызовом инструментов.
- vLLM, Tool Calling, 2026: вызов инструментов в OpenAI-совместимом сервере.
- NVIDIA, H100 Tensor Core GPU, 2026: объём памяти H100.
- Cloud.ru, Тарифы Evolution ML Inference, версия 260918: цены аренды A100 и H100 в час с НДС.
- Республика Казахстан, Закон «О персональных данных и их защите» № 94-V, редакция 2026 года: хранение персональных данных в базах на территории Казахстана.