6 мин чтения#ии#llm#инфраструктура

Qwen3.8-Flash-Next на 125 млрд параметров дома: 16 ГБ видеопамяти, 40 ГиБ экспертов в RAM, 32–40 токенов/с

За полминуты swap на сервере вырос на 259 МиБ, и защита остановила загрузку модели. Проверку кириллического словаря я так и не провёл. До этого ради пробы я выключил обычные службы: поиск по корпусу и запись с камер не работали, пока шёл эксперимент.

Я считал, что такая модель в домашний сервер с картами по 16 ГБ не поместится. По карточке Qwen3.8-Flash-Next — 125 млрд параметров, из них 6 млрд активных, плюс 51 млрд в n-gram-эмбеддингах и 4 млрд в MTP. Это MoE: при генерации работает малая часть экспертов, но остальные всё равно надо где-то хранить и откуда-то читать. Теперь модель отвечает через Strata на одной карте, а Gemma, поиск и видео живут на другой. Для проб конфигурация годится; долгую совместную нагрузку я пока не проверял.

Две карты, одна оперативная память

Ryzen 7 7700, 124 ГиБ DDR5, Proxmox с LXC-контейнерами. RTX 5070 Ti на 16 ГБ в слоте x16 отдана под Flash-Next. Вторая, RTX 5060 Ti (81 999 ₽ по ценнику магазина), стоит в слоте PCIe Gen4 x2 и несёт Gemma 4 12B на llama.cpp, сервис эмбеддингов, реранкер и Frigate. Машина одна, оперативная память общая, а две карты не складываются в один пул видеопамяти: они делят обязанности.

Раньше всё жило на одной карте, и любая проба большой модели означала остановку соседей. После неё я восстанавливал процессы и проверял, что Frigate снова пишет свежие сегменты, а поиск отвечает на настоящие запросы.

Зелёный /health не означает работающий GPU

После установки второй карты контейнер с Gemma и поиском поднялся, HTTP-проверки были зелёными, а cuInit возвращал 999. Сервисы тихо ушли на CPU. Перезапуск контейнера вернул CUDA, но причины не показал. Нашлась она в порядке загрузки: номер устройства NVIDIA менялся между запусками, а хук, который это чинит, срабатывал уже после того, как Proxmox подготовил конфигурацию контейнера. Я перенёс его раньше старта гостей. Проверку с намеренно устаревшим номером он прошёл; полную холодную загрузку хоста после исправления я ещё не повторял.

Во Frigate картина другая. CUDA видела карту, а аппаратное декодирование NVDEC на 5060 Ti падало с CUDA_ERROR_NO_DEVICE. Старый видеосегмент я принял за признак идущей записи, хотя запись стояла около 44 минут, пока видео не вернули на основную карту. Обход нашёл отдельной пробой: открыть контейнеру обе карты через NVIDIA toolkit и выбрать нужную для CUDA. Почему с одной видимой картой NVDEC ломается, я не знаю, и обновление Frigate до 0.18.2 этого не исправило. Теперь я смотрю на возраст последнего завершённого сегмента, а не на зелёный значок контейнера.

Эксперты живут в оперативной памяти

Strata держит горячие части модели и KV-кэш в видеопамяти, а эксперты размещает в оперативной памяти в пределах заданного бюджета; промахи уходят на файловый уровень. Мои настройки: квант ISTA IQ3_S, KV-кэш k8v4, спекулятивное декодирование через MTP, бюджет резидентных экспертов 40 ГиБ. Лимит контейнера 60 ГиБ, а не 40: процессу, кэшу и соседям нужна память сверх экспертов.

Первая попытка с бюджетом поменьше вышла хуже. Короткие ответы шли на 13,7–17,8 токена/с, потом длинную пробу остановил сторож по росту swap. Я ограничил ZFS ARC до 12 ГиБ, снизил swappiness до 10 и поставил отдельный watchdog. Во время загрузки доступная память хоста падала с 79 до 33 ГиБ; это снимок хоста, а не расход одного процесса. Позже тот же сторож убил уже работающую Strata: я грузил в память чекпоинт vLLM, swap-in поднялся до 3 144 страниц в секунду при 36 ГиБ свободных. Правило оказалось слишком строгим, теперь оно срабатывает только когда доступной памяти меньше 20 ГиБ.

Замеры

ПроверкаРезультатЧто измерено
Flash-Next, английский / русский / вызов инструмента40,3 / 32,2 / 31,6 токена/скороткие отдельные пробы на 5070 Ti, JSON валиден
Flash-Next, prefill2 076 токенов/схолодный синтетический вход на 32 235 токенов
Flash-Next, ресурсы131 072 токена, 15,2 ГиБ VRAM, загрузка около 100 снастроенное окно, KV k8v4
Gemma 4 12B, llama.cpp + MTP84,4 / 83,9 токена/стри повтора на 500 слов, английский / русский
Gemma 4 12B NVFP4, vLLM без MTP40,8 / 41,5 токена/стот же прогон, окно 32 768

Prefill, ожидание первого токена и генерация ответа — разные этапы. 2 076 токенов/с — скорость чтения промпта, а не письма ответа. Окно 131 072 — настроенный потолок: насколько оно держится на живых документах, я не проверял.

На локальной проверке ISTA отдала валидный JSON в двух запросах из трёх. На наборе длинного контекста она прошла шесть проверок из семи на входе около 38 тысяч токенов и пять из семи на 117 тысячах, по одному проходу на длину. Другой вариант Flash-Next, Swift, вернул валидный JSON в трёх запросах из трёх, но в одном из них проверка не подтвердила ни одной из 20 дословных цитат. Для работы с документами это хуже кривой скобки. Победителя по качеству я не объявляю: число повторов у вариантов разное, а внешнего судьи в этом прогоне не было.

Gemma на соседней карте: llama.cpp с MTP вдвое быстрее vLLM

Gemma 4 12B (UD-Q4_K_XL и Q8 MTP) — рабочая лошадь под ежедневный поток: сортировка и ограниченные задачи с инструментами. llama-server занимает 9 514 МиБ, каждый из двух сервисов поиска — по 1 324 МиБ.

Отдельно я пробовал Gemma в NVFP4 на vLLM 0.33: она читает картинки, а мой llama.cpp без отдельного файла мультимодальности не умеет. Первый тест (08.11): 9,25 ГиБ весов, FP8 KV-кэш, окно 65 536, 34,3 токена/с на английском и 41,0 на русском, валидный JSON вызова инструмента, точно прочитанный текст счёта, иголка найдена на 59 тысячах токенов. На 131 тысяче память кончилась под нагрузкой. Только позже я заметил, что контейнера с эмбеддингами в тот момент не было (как он пропал, я не установил) и пересоздал его. Значит, 65 536 вошло без этого сервиса, а не рядом со всем стеком, как я думал.

Повторный тест 09.11 с обоими сервисами и Frigate на карте, 11,7 ГиБ свободных, дал окно 32 768 и 40,8 / 41,5 токена/с, вдвое медленнее llama.cpp с MTP в том же прогоне. MTP в vLLM с родным ассистентом Google не завёлся ни с одним, ни с двумя, ни с тремя черновыми токенами: автонастройка компиляции просила 1,9 ГиБ при 1,6 свободных. Постоянной остаётся Gemma на llama.cpp. vLLM имел бы смысл ради картинок, но поиск пришлось бы убрать с этой карты. Звук я не проверял.

Что не измерено

→ Долгая совместная нагрузка обеих карт: температура, стабильность, влияние на поиск и свежесть записи.

→ Холодная загрузка хоста после исправления порядка устройств и автозапуск Strata после неё; причина сбоя NVDEC при одной видимой карте.

→ Надёжность всего окна контекста на реальных документах, русский язык и вызов инструментов на большой выборке, частота ошибок при валидном JSON.

→ Выигрыш MTP на этой карте в чистом виде, стоимость токена, электричество и экономия относительно облака.

→ Сравнение кириллического словаря, квант Q4 и звук в NVFP4-пробе: их я не запускал.

Я ошибся дважды: решил, что такая модель дома не поместится, и решил, что 64K для vLLM помещается рядом со всем стеком. Первое поправили замеры: эксперты нашли место в общей оперативной памяти, а карта осталась за повседневными службами. Второе было моей невнимательностью к тому, что на самом деле запущено. Запас у этой схемы общий на весь хост, поэтому следующий тест — одновременная нагрузка на память и обе карты.

Читать по теме