Сервер для локальной LLM: сколько нужно видеопамяти, GPU и питания

Сервер для LLM подбирают не по числу ядер и не по частоте процессора. Первый вопрос - сколько видеопамяти. Модель либо целиком помещается в память видеокарт, либо начинает частями подгружаться из системной RAM - и тогда скорость падает в разы. Поэтому разговор про железо под локальную нейросеть всегда начинается с одной цифры: сколько гигабайт VRAM нужно под вашу модель.

Разберём по порядку: сколько видеопамяти под какую модель, почему у неё два свойства, какая видеокарта подойдёт, сколько закладывать на питание и когда десктопной сборки достаточно, а когда нужна серверная платформа. Числа - из наших реальных сборок, а не из даташитов.

Сколько видеопамяти нужно под модель

Видеопамять - это потолок. Если модель в неё не помещается, она либо не запустится, либо часть слоёв уедет в оперативную память, и генерация текста замедлится в разы. Поэтому VRAM считают первым делом.

Объём модели зависит от двух вещей: сколько в ней параметров и в какой точности (квантизации) вы её запускаете. Квантизация - это упрощение весов модели: вместо 16 бит на число берут 8 или 4. Модель немного теряет в качестве ответов, зато занимает вдвое-вчетверо меньше памяти. Для большинства локальных задач формат Q4 (4 бита) - разумный компромисс: качество почти не проседает, а в память влезает заметно больше.

Грубая таблица-ориентир (веса модели, без учёта контекста):

Цифры округлены - точный размер зависит от конкретной модели и сборки. Но порядок такой: под ходовые сегодня 70B-модели в Q4 нужно около 40-45 ГБ видеопамяти. На двух картах по 24 ГБ это помещается, и на этом строится большинство наших сборок под инференс.

Видеопамять решает: объём и скорость

У видеопамяти два свойства, и путать их не стоит. Объём определяет, влезет ли модель. Пропускная способность (bandwidth) определяет, как быстро пойдут токены - то есть насколько шустро модель отвечает.

Генерация текста в LLM упирается именно в скорость памяти, а не в вычислительную мощность GPU. Модель на каждый новый токен прогоняет через себя все свои веса, и узкое место - как быстро эти веса читаются из памяти. У видеокарт пропускная способность памяти измеряется сотнями и тысячами гигабайт в секунду, а у десктопной DDR5 - десятками. Разница на порядок.

Отсюда практический вывод. Пока модель целиком в видеопамяти - всё быстро. Как только она не влезла и часть слоёв ушла в оперативку, каждое обращение к этим слоям идёт через медленную системную память, и скорость обваливается. Одна карта, куда модель помещается целиком, почти всегда быстрее двух, между которыми пришлось «размазать» модель с выгрузкой в RAM. Поэтому цель при подборе - уместить модель в VRAM без остатка, а не набрать побольше гигабайт любой ценой.

Какая видеокарта для нейросетей: десктопная или профессиональная

Карты под локальные нейросети делятся на два лагеря, и выбор между ними - это про задачу, а не только про цену.

Десктопные (игровые) карты. NVIDIA RTX 4090 с 24 ГБ, RTX 5090 с 32 ГБ. Много видеопамяти за свои деньги, высокая скорость, отлично тянут инференс и генерацию картинок. Минусы - большое энергопотребление, крупный размер, нет ECC-памяти на борту и заводской «серверной» надёжности. Для команды, домашней лаборатории или отдела, которому нужна своя LLM, - рабочий вариант.

Профессиональные и серверные. RTX PRO 4000 и PRO 6000 Blackwell, Tesla A100, H100. Здесь больше видеопамяти на одну карту (у RTX PRO 6000 Blackwell - 96 ГБ), ниже энергопотребление на тот же класс задач, поддержка работы в плотной стойке и круглосуточной нагрузки. Стоят дороже, и за что именно - тема отдельная, мы разбирали её в статье про то, чем серверные видеокарты отличаются от игровых.

Простое правило выбора. Нужно недорого и под инференс средних моделей - десктопные RTX 4090/5090. Нужна одна карта под большую модель, круглосуточная нагрузка и удалённое управление - профессиональные. В каталоге ITTELO есть и то, и другое, вплоть до готовых сборок под конкретную модель.

Процессор и память: почему для инференса они вторичны

Здесь ломается привычная логика выбора сервера. В обычном сервере процессор - главный. В сервере под инференс LLM всю тяжёлую работу делает видеокарта, а процессор занят вспомогательным: загрузить модель с диска в память, обслужить запросы, раздать данные картам.

Отсюда два следствия. Первое: одного процессора обычно достаточно, если задача упирается в GPU. На нашей сборке на платформе Supermicro 741GE-TNRT стоит один Intel Xeon Gold 6526Y на 16 ядер, а второй сокет оставлен пустым - как запас на случай, если вырастет нагрузка на процессор. Платить за второй Xeon, когда считает видеокарта, смысла нет.

Второе: оперативной памяти нужно достаточно, чтобы поднять модель и систему, но гнаться за терабайтами не надо. В серверных сборках ставят ECC-память (с коррекцией ошибок) - она нужна там, где машина работает без остановки и ошибка в памяти недопустима. В десктопных tower-сборках под LLM обходятся без ECC: обычная DDR5 дешевле и под инференс с упором на GPU отрабатывает нормально. Это осознанный размен цены на класс надёжности, а не экономия вслепую.

Питание: как посчитать блок питания

Питание под GPU-сервер считают отдельно, и здесь чаще всего ошибаются. Логика простая: сложить TDP (потребление под нагрузкой) всех карт, добавить процессор, диски и периферию, накинуть запас 20-30% на пиковые броски.

Живой пример из наших сборок. Две RTX 4090 - это 450 Вт на карту, 900 Вт только на видео. С процессором, дисками и запасом ставим блок на 2200 Вт. В версии на две RTX 5090 (575 Вт каждая) поднимаем блок до 2800 Вт, чтобы сохранить тот же комфортный запас. Считается не «примерно на глаз», а под конкретные карты.

Питание тянет за собой охлаждение: карты под нагрузкой греются, и корпус должен продувать GPU-зону, а не гонять горячий воздух по кругу. Для плотных сборок иногда переходят на жидкостное охлаждение процессоров и GPU, но для двух-трёх карт хватает грамотного воздушного потока.

Десктоп-класс или серверная платформа

Один и тот же инференс можно гонять на десктопной сборке за условные полцены и на серверной платформе. Разница - в надёжности, управляемости и запасе на рост. Покажу на двух наших реальных сборках, которые стоят на противоположных полюсах.

Сборка «под стол»: tower на десктопных комплектующих. Процессор Intel Core i5, материнская плата ASUS ROG, обычная DDR5 без ECC, две RTX 5090. Корпус с сетчатой перфорацией и кучей вентиляторов - под инференсом DeepSeek R1 70B карты держали 47-50°C при термолимите 90. Дёшево, тихо, помещается под рабочий стол. Для команды, которой нужна своя LLM без облака и подписок, - попадание. Чего здесь нет: ECC-памяти, удалённого управления, резервирования питания и hot-swap дисков. Готовую версию такой сборки на двух RTX 5090 мы держим в каталоге - посмотреть конфигурацию и цену.

Сборка «в стойку»: серверная платформа. Chenbro в формате 4U (можно поставить башней, можно убрать в стойку), плата Supermicro на два процессора Xeon, 256 ГБ памяти ECC, RAID из дисков, два блока питания по 2000 Вт в режиме 1+1, удалённое управление через IPMI, две профессиональные карты RTX PRO 4000 Blackwell. Дороже, зато работает без остановки, чинится без выключения и растёт по мере роста нагрузки. Если хотите увидеть, как GPU-сервер живёт в формате башни без отдельной серверной, у нас есть разбор сборки на Chenbro.

Что выбрать:

• Локальная LLM для команды, эксперименты, генерация картинок, ограниченный бюджет - десктопный tower на 1-2 картах.
• Круглосуточная нагрузка, приватные данные, удалённое управление, место в стойке, планы на рост - серверная платформа с ECC, RAID и резервированием.

Общую логику сборки GPU-машины со всеми компонентами мы разбирали в отдельном материале про конфигуратор сервера с GPU - здесь фокус только на том, что важно именно под LLM.

Сколько карт и как масштабировать

Одна карта, две или четыре - зависит от модели, которую вы собираетесь гонять. Одна карта проще, дешевле и, если модель в неё влезает, быстрее. Две карты берут, когда модель не помещается в одну: тогда её разбивают между картами.

Тут важная честная оговорка. Две карты по 24 ГБ - это не чистые 48 ГБ под одну модель. Часть памяти уходит на накладные расходы разбиения, а сами карты общаются между собой через шину. Если это PCIe, обмен между картами медленнее, чем через фирменный мостик NVLink, - на разбитых моделях это заметно. Поэтому «просто добавить вторую карту» не всегда даёт линейный прирост.

Как это выглядит на практике. Мы запускали DeepSeek R1 70B через Ollama на сборке с двумя картами: модель весит около 45 ГБ, Ollama разрезала её пополам и загрузила по 22-23 ГБ на каждую карту. Модель целиком в видеопамяти, без выгрузки в RAM, загрузка обеих карт - 48-50% в параллель. Работает ровно, вентиляторы не воют. Это и есть рабочий сценарий для 70B-модели на двух десктопных картах.

Дальше - платформы на 4 GPU: например, Supermicro 741GE-TNRT берёт до четырёх двухслотовых карт с двух сторон от центральной перегородки с вентиляторами. Это уже про плотный инференс или несколько моделей одновременно. А вот обучение больших моделей с нуля - совсем другая история и другое железо (стойки на 8×H100 с NVLink); про это - в материале о GPU-серверах для машинного обучения. Локальный инференс и тренировка - разные задачи, не путайте их при подборе.

Купить свой сервер или арендовать в облаке

Не всегда нужно своё железо. Аренда GPU в облаке имеет смысл, когда нагрузка разовая или скачками: протестировать модель, прогнать эксперимент, закрыть пиковый проект. Платите за часы, не вкладываетесь в железо, не думаете про питание и охлаждение. Про облачный вариант у нас есть отдельный разбор - GPU в облаке для требовательных задач.

Своё железо выигрывает, когда нагрузка постоянная и когда данные нельзя отдавать на сторону. Локальная LLM не отправляет запросы в чужое облако - вся переписка, документы и код остаются внутри контура. Для многих это и есть главная причина ставить сервер у себя, а не пользоваться внешним API. Плюс нет ежемесячной подписки: разовые вложения в железо против бесконечной аренды. При круглосуточной работе своя машина окупается тем быстрее, чем плотнее вы её грузите.

Когда локальная LLM не нужна

Честный раздел, без которого выбор неполный.

Если задача - изредка задать вопрос модели, отдельный сервер под это не нужен. Небольшие модели на 3-7 миллиардов параметров запускаются даже без видеокарты, на процессоре и системной памяти. Работает это медленно - единицы-десятки токенов в секунду, ответ придётся подождать, - но для нечастых задач порой достаточно.

Если нужны ответы уровня крупнейших коммерческих моделей, а строить под них стойку не готовы, - иногда честнее взять облачный API. Локальная LLM хороша приватностью и предсказуемой стоимостью, но топовые закрытые модели вы у себя не поднимете. И ещё раз про границу: сервер под инференс - не сервер под обучение. Гонять готовую модель и обучать её с нуля - задачи разного масштаба и бюджета.

Коротко: чек-лист перед заказом GPU-сервера под LLM

• Определите модель и её размер (7B, 32B, 70B) и посчитайте VRAM в нужной квантизации - плюс запас на систему и контекст.
• Выбирайте видеокарты так, чтобы модель влезала в память целиком, без выгрузки в оперативку.
• Проверьте, что модель помещается в одну карту, - если да, не плодите две ради цифр.
• Посчитайте питание по сумме TDP карт с запасом 20-30% и заложите кабель 12VHPWR.
• Решите про класс: десктопный tower или серверная платформа с ECC, RAID и IPMI.
• Прикиньте, не выгоднее ли аренда, если нагрузка разовая.

Частые вопросы

Сколько видеопамяти нужно для модели на 70 миллиардов параметров?

В квантизации Q4 - примерно 40-45 ГБ под веса плюс запас на контекст. Это закрывается двумя картами по 24 ГБ или одной профессиональной на 48-80 ГБ.

Хватит ли одной RTX 4090 для локальной LLM?

24 ГБ достаточно для моделей до 32B в Q4 и для 7-14B с запасом на длинный контекст. Для 70B одной карты мало - нужна вторая или карта с большим объёмом памяти.

Нужен ли серверный процессор для инференса?

Обычно нет. Инференс считает видеокарта, процессор занят вспомогательной работой. Одного процессора достаточно; второй берут, только если растёт именно процессорная нагрузка.

Можно ли запустить LLM без видеокарты?

Можно, на процессоре и оперативной памяти, но медленно. Реально это для небольших моделей на 3-7B и нечастых запросов. Под нормальную скорость нужна видеокарта.

Какой блок питания нужен под две видеокарты?

Сложите TDP обеих карт, добавьте процессор и запас 20-30%. Для двух RTX 4090 это около 2200 Вт, для двух RTX 5090 - около 2800 Вт.

По теме

• В чём разница между процессором и видеокартой
• Серверные видеокарты: мощь для бизнеса и науки