Первая таблица показала 0,632. Настоящая оценка — 0,845

Баги — с них и начну. Прогнал три закрытые модели на своих 50 задачах. Программа выдала таблицу, и у одной модели стояло 0,632 — сильно ниже остальных.

Это была не оценка модели. На 13 задачах из 50 провайдер вернул пустой ответ, и программа записала ноль. Перегнал только эти 13 теми же судьями: получилось 0,845. Таблица врала про модель, а виновата была дорога до неё.

Что вышло после починки (одна из моделей — в двух настройках):

	Балл	Время на задачу	Цена прогона
Модель A	0,852	15,5 с	$1,53
Модель B	0,845	17,4 с	$0,30
Модель C, усилие высокое	0,833	14,2 с	$0,78
Модель C, усилие среднее	0,809	11,8 с	$0,63

Разброс самого замера — 0,043: столько получается, если прогнать одну и ту же настройку повторно. Первые три строки укладываются в 0,02. По качеству это ничья.

Три вещи, которых я не ожидал:

→ Модель C пишет втрое быстрее остальных, но и текста выдаёт в 2,6 раза больше. На одну задачу уходит почти столько же времени: 14,2 с против 15,5 и 17,4. Скорость, которую я вижу в работе, — другая картина: там много коротких сообщений подряд, а этот замер её не проверяет → Модель A стоит в пять раз дороже B, а качества не прибавляет → Снижение усилия у C стоило 0,024 балла, зато убрало пятую часть текста и 17% времени

Честная оговорка: на настройке, с которой я работаю каждый день, модель C набрала 0,809, а A и B — на 0,04 выше. Это на границе разброса, и один прогон ничего не доказывает. Нужны три повтора, они в плане.

Названия моделей не пишу: условия API запрещают сравнения под брендом. Цифры настоящие, строки добавлены в таблицу на bench.csylabs.com.

Менять ничего не буду.