3 мин чтения#ии#llm#инфраструктура

Qwen3.8-Flash-Next прочитала 129 тысяч токенов на RTX 5070 Ti

В прошлой заметке у меня было настроено окно на 131 072 токена. В этот раз я отправил в него 129 333 токена. Через 76,5 секунды Qwen3.8-Flash-Next вернула три метки: одну из начала текста, одну из середины и одну почти с конца.

До этого я повторно запускал плотную Qwen 27B. Карта зависла ещё при загрузке весов: драйвер написал Xid 175, таймаут подсистемы памяти. Точечный сброс вернул Not Supported. Помогла перезагрузка Proxmox, после неё прошла проба с записью и чтением памяти через CUDA. Причину зависания я пока не знаю; до обработки промпта тот запуск не дошёл.

Две минуты на запуск, 76 секунд на запрос

Я оставил прежнюю конфигурацию Strata: ISTA IQ3_S, одна RTX 5070 Ti на 16 ГБ, 40 ГиБ бюджета под экспертов в оперативной памяти, KV-кэш k8v4, MTP и один запрос одновременно. Gemma, поиск и запись с камер остались на второй карте. До готовности Flash-Next прошло 128 секунд. Служба на пике заняла 46 ГиБ памяти по счётчику cgroup, после длинных запросов в видеопамяти оставалось 183 МиБ. Swap на хосте вырос с нуля до 4 ГиБ.

Вход, токеновЧтение промпта, токенов/сГенерация, токенов/сВремя до готового ответаМетки
31 0271 4365722,1 с3/3
47 4241 9835124,5 с3/3
129 3331 7066176,5 с3/3

Вход был холодный: кэш предыдущего запроса не использовался. Текст я собрал из однотипных строк инвентаризации и вставил три разных идентификатора. Скорость генерации здесь посчитана по 27 токенам ответа. Это проверка, что модель нашла три строки через всё окно. Как она сведёт противоречащие друг другу документы, я этим тестом не измерил.

У Inkling токен быстрее, ответ дольше

Inkling 2 Mini в UD-Q3_K_XL с Q8 KV на той же карте дошла до 47 420 входных токенов и тоже нашла все три метки. Это заняло 58,3 секунды. На 64K модель загрузилась, но оставила 25 МиБ видеопамяти, и защита остановила пробу до запроса. Для Inkling я оставляю 32K: там в замере оставался 1 311 МиБ запаса.

На коротких задачах Inkling писала около 80 токенов/с, Flash-Next — 31–42. Для поиска меток у Flash-Next я выключил размышления, а Inkling дала от 281 до 540 токенов вместе с размышлениями. Без лимита на них первый запрос к Inkling исчерпал 1 024 токена и оставил пустое поле ответа. Сравнивать здесь можно время до результата на этих настройках. По одной колонке «токенов/с» я бы выбрал другую модель.

Обе отдали нужный JSON. В задаче на слияние интервалов обе верно посчитали границы и сохранили входные данные. Flash-Next смешала списки и кортежи, поэтому точное сравнение со списком списков прошло в двух случаях из пяти, у Inkling — в пяти. Тип результата я в задании не указал. Из одного такого примера победителя по коду не выбираю.

Flash-Next оставляю для длинных запросов, когда 5070 Ti свободна. Поднимать её ради короткого ответа мне нет смысла: за те две минуты, пока она грузится, Inkling уже успевает прочитать почти всё своё проверенное окно.

Читать по теме