Qwen3.8-Flash-Next прочитала 129 тысяч токенов на RTX 5070 Ti
В прошлой заметке у меня было настроено окно на 131 072 токена. В этот раз я отправил в него 129 333 токена. Через 76,5 секунды Qwen3.8-Flash-Next вернула три метки: одну из начала текста, одну из середины и одну почти с конца.
До этого я повторно запускал плотную Qwen 27B. Карта зависла ещё при загрузке весов: драйвер написал Xid 175, таймаут подсистемы памяти. Точечный сброс вернул Not Supported. Помогла перезагрузка Proxmox, после неё прошла проба с записью и чтением памяти через CUDA. Причину зависания я пока не знаю; до обработки промпта тот запуск не дошёл.
Две минуты на запуск, 76 секунд на запрос
Я оставил прежнюю конфигурацию Strata: ISTA IQ3_S, одна RTX 5070 Ti на 16 ГБ, 40 ГиБ бюджета под экспертов в оперативной памяти, KV-кэш k8v4, MTP и один запрос одновременно. Gemma, поиск и запись с камер остались на второй карте. До готовности Flash-Next прошло 128 секунд. Служба на пике заняла 46 ГиБ памяти по счётчику cgroup, после длинных запросов в видеопамяти оставалось 183 МиБ. Swap на хосте вырос с нуля до 4 ГиБ.
| Вход, токенов | Чтение промпта, токенов/с | Генерация, токенов/с | Время до готового ответа | Метки |
|---|---|---|---|---|
| 31 027 | 1 436 | 57 | 22,1 с | 3/3 |
| 47 424 | 1 983 | 51 | 24,5 с | 3/3 |
| 129 333 | 1 706 | 61 | 76,5 с | 3/3 |
Вход был холодный: кэш предыдущего запроса не использовался. Текст я собрал из однотипных строк инвентаризации и вставил три разных идентификатора. Скорость генерации здесь посчитана по 27 токенам ответа. Это проверка, что модель нашла три строки через всё окно. Как она сведёт противоречащие друг другу документы, я этим тестом не измерил.
У Inkling токен быстрее, ответ дольше
Inkling 2 Mini в UD-Q3_K_XL с Q8 KV на той же карте дошла до 47 420 входных токенов и тоже нашла все три метки. Это заняло 58,3 секунды. На 64K модель загрузилась, но оставила 25 МиБ видеопамяти, и защита остановила пробу до запроса. Для Inkling я оставляю 32K: там в замере оставался 1 311 МиБ запаса.
На коротких задачах Inkling писала около 80 токенов/с, Flash-Next — 31–42. Для поиска меток у Flash-Next я выключил размышления, а Inkling дала от 281 до 540 токенов вместе с размышлениями. Без лимита на них первый запрос к Inkling исчерпал 1 024 токена и оставил пустое поле ответа. Сравнивать здесь можно время до результата на этих настройках. По одной колонке «токенов/с» я бы выбрал другую модель.
Обе отдали нужный JSON. В задаче на слияние интервалов обе верно посчитали границы и сохранили входные данные. Flash-Next смешала списки и кортежи, поэтому точное сравнение со списком списков прошло в двух случаях из пяти, у Inkling — в пяти. Тип результата я в задании не указал. Из одного такого примера победителя по коду не выбираю.
Flash-Next оставляю для длинных запросов, когда 5070 Ti свободна. Поднимать её ради короткого ответа мне нет смысла: за те две минуты, пока она грузится, Inkling уже успевает прочитать почти всё своё проверенное окно.
Читать по теме
- 4 мин чтения
Gemma 4 26B догнала Qwen 3.8 27B на моих задачах, а отвечает за 0,3 секунды вместо 5–7
- 6 мин чтения
Qwen3.8-Flash-Next на 125 млрд параметров дома: 16 ГБ видеопамяти, 40 ГиБ экспертов в RAM, 32–40 токенов/с
- 5 мин чтения
Память V100 SXM2 упирается в 85 °C при любом охлаждении — карту продал, остаюсь на RTX 5070 Ti