4 мин чтения#ии#llm#инфраструктура

Gemma 4 26B догнала Qwen 3.8 27B на моих задачах, а отвечает за 0,3 секунды вместо 5–7

Первый сид показал, что Qwen 3.8 27B с размышлениями обгоняет Gemma 4 26B без них на четыре пункта: 71,3% против 67,5% на публичном наборе dale. Во втором сиде вперёд вышла Gemma: 72,0% против 69,4%. Средние сошлись: 70,3% у Qwen по двум сидам и 70,5% у Gemma по трём. Остановись я на первом прогоне, этот текст рекомендовал бы модель, которая в 17–24 раза медленнее.

У меня две карты. RTX 5060 Ti на 16 ГБ несёт боевой контур: Gemma 4 12B с MTP и два контейнера (эмбеддинги и реранк), занято 13,4 ГБ. RTX 5070 Ti на 16 ГБ свободна под опыты. Мне нужно было решить, что держать на второй карте и какие настройки размышлений включать, чтобы это не решалось по Reddit.

Первый прогон измерил не то

Начну с поломок. Первую версию стенда я бросил в тот же день.

  • Оценщик dale проверял только тип ответа (команда, отказ или «не уверен»), а не саму команду. dale-0.8b набрал 157 из 157. Любая модель, которая отвечает по формату, получала тот же балл.
  • Двадцать пять «задач по Proxmox» оказались одностроками, которые проверялись строгими регулярками. Заменил их 39 задачами с ловушками на отказ: перезапустить контейнер без номера, стереть все диски, вынести базу наружу.
  • Gemma 12B по умолчанию размышляет: медиана 7,5 с на ответ, 46 минут на один набор, 41 ответ из 157 упёрся в лимит 4096 токенов. Но с боевыми флагами (бюджет размышлений 2048 токенов) усечённых 3–4 из 157, а не 41. Я сначала сравнивал не с тем, что реально работает.
  • В новых русских задачах имена были в виде <FIO_21>, а модели без размышлений часто отдавали FIO_21 без скобок. Строгий оценщик поставил им 4–5 из 20, без учёта скобок вышло 17 из 20. Обе колонки я теперь считаю отдельно.

Команды не запускались. Правильность команды оценивал облачный судья другого вендора, только на публичных и синтетических данных; на всё ушло примерно 3 доллара. Судья строгий: из 24 вердиктов, которые я проверил руками, 4–5 «неверно» показались слишком жёсткими (рабочая команда на python вместо awk, fdfind -e jpg вместо длинной формы) и один «верно» слишком мягким (nvidia-smi без номера карты). Выборка маленькая, так что цифры сдвинуты скорее вниз, но не строго. Gemma прогнана в трёх сидах, Qwen в двух.

Конфигурацияdale, 157 задачProxmox, 39 задачВызовы инструментов, 30Медиана ответа
Gemma 4 12B, размышления включены (как в бою)60,1%79,5%27–293,3–3,6 с
Gemma 4 12B, без размышлений61,8%64,1%25–260,34 с
Gemma 4 26B-A4B, без размышлений70,5%73,5%240,30 с
Qwen 3.8 27B, размышления включены70,3%77,0%30 и 295–7 с
Qwen 3.8 27B, без размышлений67,2%64,1%26 и 280,8–1,0 с

26B без размышлений бьёт 12B на dale на 9–10 пунктов, парный тест даёт p около 0,006. С Qwen 27B с размышлениями у 26B ничья: на dale интервал разницы ±8 пунктов, на задачах Proxmox от −15 до +17.

Размышления помогают не везде. На задачах Proxmox они дают 12B плюс 15–18 пунктов, а на обычных shell-командах, зацикливании и вызовах инструментов заметной пользы нет. Поэтому на 5060 Ti я оставляю 12B и буду выключать размышления отдельным запросом там, где ответ короткий.

Одного сида мало, даже когда разброс маленький

Для Gemma разброс между сидами был 1–3 пункта, и я решил, что сидов хватит. Qwen без размышлений опроверг это: в первом сиде 25 ответов из 157 пришли не в JSON (19 из них в блоке кода), во втором такой ответ был один, и точность прыгнула с 60,5% до 73,9%. Третьего сида для Qwen нет: прогон я остановил после второго, чтобы освободить карту.

Про Qwen без размышлений вывод один: формат ответа у него плавает, и без схемы, которая принудительно задаёт JSON, ставить его на фоновые задачи нельзя. Квант это или промпт, я не проверял.

На вторую карту ставлю 26B без размышлений: та же точность на dale и на задачах Proxmox, в 17–24 раза быстрее, формат держит. Qwen 27B с размышлениями оставляю только под выбор инструментов (30 из 30 и 29 из 30 против 24), и то после проверки на большем наборе: тридцать задач написал агент, второй человек их не читал, лидерство они не доказывают.

Что не проверено. Новые наборы (задачи Proxmox, русские извлечения, вызовы инструментов) написаны агентом и не проверены вторым человеком. Судья один. По 20–30 задач на набор разницу меньше 20 пунктов не заметить. 26B и 27B — трёхбитные кванты. Ни многошаговых агентов, ни длинного контекста я не мерил.

Читать по теме