Qwen3.8-Flash-Next на 125 млрд параметров дома: 16 ГБ видеопамяти, 40 ГиБ экспертов в RAM, 32–40 токенов/с
За полминуты swap на сервере вырос на 259 МиБ, и защита остановила загрузку модели. Проверку кириллического словаря я так и не провёл. До этого ради пробы я выключил обычные службы: поиск по корпусу и запись с камер не работали, пока шёл эксперимент.
Я считал, что такая модель в домашний сервер с картами по 16 ГБ не поместится. По карточке Qwen3.8-Flash-Next — 125 млрд параметров, из них 6 млрд активных, плюс 51 млрд в n-gram-эмбеддингах и 4 млрд в MTP. Это MoE: при генерации работает малая часть экспертов, но остальные всё равно надо где-то хранить и откуда-то читать. Теперь модель отвечает через Strata на одной карте, а Gemma, поиск и видео живут на другой. Для проб конфигурация годится; долгую совместную нагрузку я пока не проверял.
Две карты, одна оперативная память
Ryzen 7 7700, 124 ГиБ DDR5, Proxmox с LXC-контейнерами. RTX 5070 Ti на 16 ГБ в слоте x16 отдана под Flash-Next. Вторая, RTX 5060 Ti (81 999 ₽ по ценнику магазина), стоит в слоте PCIe Gen4 x2 и несёт Gemma 4 12B на llama.cpp, сервис эмбеддингов, реранкер и Frigate. Машина одна, оперативная память общая, а две карты не складываются в один пул видеопамяти: они делят обязанности.
Раньше всё жило на одной карте, и любая проба большой модели означала остановку соседей. После неё я восстанавливал процессы и проверял, что Frigate снова пишет свежие сегменты, а поиск отвечает на настоящие запросы.
Зелёный /health не означает работающий GPU
После установки второй карты контейнер с Gemma и поиском поднялся, HTTP-проверки были зелёными, а cuInit возвращал 999. Сервисы тихо ушли на CPU. Перезапуск контейнера вернул CUDA, но причины не показал. Нашлась она в порядке загрузки: номер устройства NVIDIA менялся между запусками, а хук, который это чинит, срабатывал уже после того, как Proxmox подготовил конфигурацию контейнера. Я перенёс его раньше старта гостей. Проверку с намеренно устаревшим номером он прошёл; полную холодную загрузку хоста после исправления я ещё не повторял.
Во Frigate картина другая. CUDA видела карту, а аппаратное декодирование NVDEC на 5060 Ti падало с CUDA_ERROR_NO_DEVICE. Старый видеосегмент я принял за признак идущей записи, хотя запись стояла около 44 минут, пока видео не вернули на основную карту. Обход нашёл отдельной пробой: открыть контейнеру обе карты через NVIDIA toolkit и выбрать нужную для CUDA. Почему с одной видимой картой NVDEC ломается, я не знаю, и обновление Frigate до 0.18.2 этого не исправило. Теперь я смотрю на возраст последнего завершённого сегмента, а не на зелёный значок контейнера.
Эксперты живут в оперативной памяти
Strata держит горячие части модели и KV-кэш в видеопамяти, а эксперты размещает в оперативной памяти в пределах заданного бюджета; промахи уходят на файловый уровень. Мои настройки: квант ISTA IQ3_S, KV-кэш k8v4, спекулятивное декодирование через MTP, бюджет резидентных экспертов 40 ГиБ. Лимит контейнера 60 ГиБ, а не 40: процессу, кэшу и соседям нужна память сверх экспертов.
Первая попытка с бюджетом поменьше вышла хуже. Короткие ответы шли на 13,7–17,8 токена/с, потом длинную пробу остановил сторож по росту swap. Я ограничил ZFS ARC до 12 ГиБ, снизил swappiness до 10 и поставил отдельный watchdog. Во время загрузки доступная память хоста падала с 79 до 33 ГиБ; это снимок хоста, а не расход одного процесса. Позже тот же сторож убил уже работающую Strata: я грузил в память чекпоинт vLLM, swap-in поднялся до 3 144 страниц в секунду при 36 ГиБ свободных. Правило оказалось слишком строгим, теперь оно срабатывает только когда доступной памяти меньше 20 ГиБ.
Замеры
| Проверка | Результат | Что измерено |
|---|---|---|
| Flash-Next, английский / русский / вызов инструмента | 40,3 / 32,2 / 31,6 токена/с | короткие отдельные пробы на 5070 Ti, JSON валиден |
| Flash-Next, prefill | 2 076 токенов/с | холодный синтетический вход на 32 235 токенов |
| Flash-Next, ресурсы | 131 072 токена, 15,2 ГиБ VRAM, загрузка около 100 с | настроенное окно, KV k8v4 |
| Gemma 4 12B, llama.cpp + MTP | 84,4 / 83,9 токена/с | три повтора на 500 слов, английский / русский |
| Gemma 4 12B NVFP4, vLLM без MTP | 40,8 / 41,5 токена/с | тот же прогон, окно 32 768 |
Prefill, ожидание первого токена и генерация ответа — разные этапы. 2 076 токенов/с — скорость чтения промпта, а не письма ответа. Окно 131 072 — настроенный потолок: насколько оно держится на живых документах, я не проверял.
На локальной проверке ISTA отдала валидный JSON в двух запросах из трёх. На наборе длинного контекста она прошла шесть проверок из семи на входе около 38 тысяч токенов и пять из семи на 117 тысячах, по одному проходу на длину. Другой вариант Flash-Next, Swift, вернул валидный JSON в трёх запросах из трёх, но в одном из них проверка не подтвердила ни одной из 20 дословных цитат. Для работы с документами это хуже кривой скобки. Победителя по качеству я не объявляю: число повторов у вариантов разное, а внешнего судьи в этом прогоне не было.
Gemma на соседней карте: llama.cpp с MTP вдвое быстрее vLLM
Gemma 4 12B (UD-Q4_K_XL и Q8 MTP) — рабочая лошадь под ежедневный поток: сортировка и ограниченные задачи с инструментами. llama-server занимает 9 514 МиБ, каждый из двух сервисов поиска — по 1 324 МиБ.
Отдельно я пробовал Gemma в NVFP4 на vLLM 0.33: она читает картинки, а мой llama.cpp без отдельного файла мультимодальности не умеет. Первый тест (08.11): 9,25 ГиБ весов, FP8 KV-кэш, окно 65 536, 34,3 токена/с на английском и 41,0 на русском, валидный JSON вызова инструмента, точно прочитанный текст счёта, иголка найдена на 59 тысячах токенов. На 131 тысяче память кончилась под нагрузкой. Только позже я заметил, что контейнера с эмбеддингами в тот момент не было (как он пропал, я не установил) и пересоздал его. Значит, 65 536 вошло без этого сервиса, а не рядом со всем стеком, как я думал.
Повторный тест 09.11 с обоими сервисами и Frigate на карте, 11,7 ГиБ свободных, дал окно 32 768 и 40,8 / 41,5 токена/с, вдвое медленнее llama.cpp с MTP в том же прогоне. MTP в vLLM с родным ассистентом Google не завёлся ни с одним, ни с двумя, ни с тремя черновыми токенами: автонастройка компиляции просила 1,9 ГиБ при 1,6 свободных. Постоянной остаётся Gemma на llama.cpp. vLLM имел бы смысл ради картинок, но поиск пришлось бы убрать с этой карты. Звук я не проверял.
Что не измерено
→ Долгая совместная нагрузка обеих карт: температура, стабильность, влияние на поиск и свежесть записи.
→ Холодная загрузка хоста после исправления порядка устройств и автозапуск Strata после неё; причина сбоя NVDEC при одной видимой карте.
→ Надёжность всего окна контекста на реальных документах, русский язык и вызов инструментов на большой выборке, частота ошибок при валидном JSON.
→ Выигрыш MTP на этой карте в чистом виде, стоимость токена, электричество и экономия относительно облака.
→ Сравнение кириллического словаря, квант Q4 и звук в NVFP4-пробе: их я не запускал.
Я ошибся дважды: решил, что такая модель дома не поместится, и решил, что 64K для vLLM помещается рядом со всем стеком. Первое поправили замеры: эксперты нашли место в общей оперативной памяти, а карта осталась за повседневными службами. Второе было моей невнимательностью к тому, что на самом деле запущено. Запас у этой схемы общий на весь хост, поэтому следующий тест — одновременная нагрузка на память и обе карты.