Локальные языковые модели на Tesla V100 32 ГБ: как проверить, подойдёт ли карта для домашнего сервера

У локальной языковой модели может хватать памяти, чтобы запуститься, и при этом она будет неудобна для работы. На коротком запросе ответ появляется быстро, а при анализе большого документа приходится ждать уже на этапе чтения. Или модель работает, пока сервер обслуживает одного пользователя, но при втором запросе часть вычислений переносится на процессор. Поэтому ценность подержанной Tesla V100 с 32 ГБ памяти лучше оценивать по конкретной задаче. Для домашнего сервера важны время до начала ответа, качество результата на ваших данных и то, насколько предсказуемо система ведёт себя каждый день.

Сначала определите, для чего нужен локальный ИИ

Для разбора документов можно начать со сценария, который легко проверить. Допустим, у вас есть папка инструкций, а модель должна извлечь из каждой периодичность проверки оборудования и вернуть результат с номером страницы. Заранее подготовьте несколько примеров с известными ответами, включая документ, где нужных сведений нет. Тогда видно, умеет ли модель находить данные, корректно ли отмечает пропуски и сколько времени вам приходится тратить на ручную проверку. Такая проба полезнее общего впечатления от беседы с моделью.

Для работы с кодом контрольная задача будет другой. Можно предложить модели объяснить причину сбоя на небольшом фрагменте программы и подготовить изменение, которое проверяется тестами. Для поиска по личному архиву удобно измерить, как часто ответ содержит правильную выдержку из источника. В обоих случаях сравнивайте модели на одном наборе заданий. Если меньшая модель справляется с ним так же хорошо, запас памяти можно использовать для более длинного запроса, параллельной работы или запуска второй службы.

Локальный запуск особенно удобен, если документы должны оставаться на вашей машине. Проверьте при этом весь путь данных. Интерфейс может хранить диалоги, индексатор — копии извлечённого текста, а подключённый модуль — отправлять запросы внешнему API. Если данные чувствительные, настройте доступ к серверу и каталогам и выясните, где остаются файлы и журналы. Проверять это лучше на искусственных примерах, прежде чем открывать реальные документы.

Что проверить у самой V100 до покупки

Tesla V100 выпускалась на архитектуре Volta в разных исполнениях. У версии PCIe и модуля SXM2 разные способы установки. Плата PCIe подключается через соответствующий слот, а для SXM2 нужна рассчитанная на этот модуль платформа или совместимый адаптер. Если объявление содержит только название GPU и объём памяти, попросите точное обозначение устройства и фотографии. Заодно составьте список всего, что понадобится для установки: подходящая плата, место в корпусе, питание и охлаждение.

Серверному ускорителю с пассивным радиатором нужен направленный поток воздуха через рёбра. В обычном корпусе наличие нескольких вентиляторов само по себе не говорит о том, что воздух пройдёт там, где нужно. После сборки проверьте температуру и частоты под длительной нагрузкой. Полезно также оценить шум в той комнате, где будет стоять компьютер. Карта, которая справляется с короткими тестами, может снизить частоты после прогрева, и это скажется на времени обработки целой папки документов.

Совместимость программ лучше проверить до покупки железа. Для Volta используется вычислительная архитектура CUDA с обозначением compute capability 7.0. NVIDIA указывает, что CUDA Toolkit 13 убрал возможность офлайн-компиляции для архитектур ниже 7.5. Для собственной сборки под V100 проверяйте ветку инструментов, которая ещё умеет собирать код для этой карты. Для готовой сборки уточняйте наличие поддержки Volta и совместимость с драйвером. После установки посмотрите, действительно ли движок использует GPU и какую часть модели на нём размещает.

Куда уходят 32 ГБ видеопамяти

Первую оценку удобно сделать по размеру файла с весами. В упрощённом расчёте 30 млрд параметров при четырёх битах на параметр дают около 15 ГБ. Реальный файл будет отличаться от этой оценки. Форматы квантования используют дополнительные данные для восстановления значений, а некоторые части модели хранят с большей точностью. Для расчёта сборки ориентируйтесь на размер конкретного файла и оставляйте запас для данных, которые появляются уже при запуске.

Одна из таких статей расхода — KV-кэш. Он хранит промежуточные данные внимания для уже обработанных токенов и позволяет использовать их при генерации следующих. Для обычного трансформера с полным вниманием объём кэша растёт по мере увеличения числа токенов. На него влияют архитектура модели, точность хранения и число активных запросов. Поэтому две модели с файлами сопоставимого размера могут по-разному расходовать память при чтении длинного текста. Движки также могут резервировать память под заданное окно контекста заранее.

Практическая проверка выглядит так. Запустите модель с настройкой, которая соответствует обычному заданию, и зафиксируйте пиковую загрузку памяти. Затем запустите самый длинный запрос из тех, которые действительно собираетесь отправлять. Проверьте, сколько токенов прошло обработку и осталось ли место для ответа. Если движок переместил часть слоёв в оперативную память, повторите замер скорости. Такой режим может годиться для ночной обработки, но потребует проверить, устроит ли ожидание при работе в чате.

Отдельный случай — модели со смесью экспертов, или MoE. При обработке конкретного токена в них задействуется только часть блоков. Это может ускорить генерацию по сравнению с плотной моделью того же общего размера. Однако для работы нужен доступ и к тем весам, которые в текущем шаге не используются. Если часть экспертов находится за пределами видеопамяти, время зависит от того, как движок размещает и загружает эти данные. Поэтому при выборе смотрят и на общее число параметров, и на фактический расход памяти в рабочем режиме.

Какие замеры помогут заметить узкое место

Для пользователя важны как минимум два интервала. Первый — от отправки запроса до появления начала ответа. В это время может входить загрузка модели и обработка входного текста. Второй — от первых сгенерированных токенов до завершения ответа. Высокая скорость генерации ощущается только после того, как сервер прочитал входные данные. Например, при разборе длинного отчёта и коротком ответе ожидание может определяться главным образом обработкой отчёта.

Сделайте отдельные серии тестов на холодном и прогретом сервере. Для холодного запуска измерьте время от запроса до первого ответа, когда модель ещё не загружена. На прогретом сервере попробуйте короткое сообщение, запрос обычного рабочего размера и предельный для вашей задачи. Подберите несколько независимых примеров для каждого размера. Повтор одного и того же запроса может использовать уже обработанное начало текста, поэтому при замере первичного чтения следите за поведением кэша. Если важен и повторный доступ к одному документу, измерьте его отдельно.

В журнал теста запишите модель, файл весов, движок, размер окна, точность KV-кэша и распределение по GPU и CPU. При сравнении Ollama и llama.cpp проверьте, что обе конфигурации действительно обработали сопоставимый объём текста и выдали ответы одинаковой длины. Если одна из них сократила вход, её результат по скорости мало говорит о работе с полным документом. Если одна использует другой тип кэша или оставляет слои на CPU, запишите эти отличия рядом с цифрами. Получится сравнение конкретных рабочих конфигураций, которое можно повторить после обновления.

После синтетических тестов оцените качество. В примере с инструкциями можно считать долю правильных ответов и отдельно отмечать выводы, которых в источнике нет. Затем сравните время на весь процесс, включая проверку результата. Если быстрая модель требует исправлять каждый третий ответ, более медленная может оказаться удобнее для партии документов. Для интерактивной работы полезно также оценить разброс задержек: отдельные долгие запросы заметны даже при хорошей средней скорости.

Как выбрать следующее улучшение

Если модель уверенно работает с коротким контекстом, а длинные запросы упираются в память, сначала выясните, сколько входного текста ей реально нужно. Для поиска по архиву можно сначала выбрать несколько релевантных фрагментов и передать их с указанием документов, из которых они взяты. Такой подход экономит память и даёт человеку возможность проверить цитаты. Если вывод зависит от сопоставления удалённых друг от друга частей документа, проверьте, находит ли поиск все нужные фрагменты. В противном случае понадобится более широкое окно или другой способ подготовки текста.

Если при каждом запросе сервер активно читает диск, посмотрите, какие данные не удерживаются в памяти. Увеличение ОЗУ имеет смысл, когда оно сокращает повторные обращения к накопителю или помогает держать рабочие данные при выгрузке части модели с GPU. Если видеокарта под нагрузкой перегревается, сначала разберитесь с охлаждением. А если готовы добавить второй GPU, проверьте, умеет ли выбранный движок распределять нужную модель между картами. Сопоставьте ожидаемый прирост с затратами на питание, охлаждение и переделку корпуса.

Перед покупкой сформулируйте критерий приёмки. Например, сервер должен обработать документ заданной длины без потери страниц, вернуть проверяемый ответ за приемлемое время и выполнить подряд несколько таких заданий без снижения скорости после прогрева. По итогам теста станет ясно, хватает ли одной Tesla V100 на 32 ГБ, какую модель на ней стоит держать и есть ли смысл тратить деньги на обновление остальной системы.