Дешёвый судья не прошёл мою же планку: 6,6% против 5%
Мой бенчмарк оценивают три судьи. В прошлом месяце они обошлись в $146 из $195 моего счёта за API моделей. Новые версии тех же моделей стоят по прайсу дешевле, и я попробовал их заменить.
Судья ставит каждому свободному ответу оценку от 0 до 10, три оценки усредняются. Заменишь судью, и каждый опубликованный балл начинает значить чуть другое. Поэтому планку я написал до первого вызова.
Замена проходит, только если по сравнению со старыми судьями:
→ оценки коррелируют на 0,90 или выше → среднее сдвигается не больше чем на 0,03 (шкала от 0 до 1) → не больше 5% задач пересекают проходную черту 0,6 → цена на задачу падает минимум на 30%
Раунд 1. Заменил всех трёх судей, четырьмя наборами: от флагманских цен до самого дешёвого уровня. 101 ответ, каждый заново оценён всеми кандидатами.
| Набор | Корреляция | Сдвиг среднего | Задач через черту | Цена на задачу |
|---|---|---|---|---|
| Новые, флагманская цена | 0,73 | −0,11 | 16,5% | −16% |
| Один флагман заменён средним уровнем | 0,75 | −0,12 | 18,7% | −49% |
| Два дешевле | 0,79 | −0,11 | 15,8% | −64% |
| Все три самого дешёвого уровня | 0,84 | −0,08 | 13,9% | −86% |
Не прошёл ни один. Три вещи, которых я не ожидал:
→ Старые судьи не до конца согласны сами с собой. Повторный прогон на тех же ответах при температуре 0 даёт 0,92 для среднего, а один из трёх совпадает со своим первым прогоном всего на 0,54. Это реалистичный потолок для любой замены → Новые судьи строже: все четыре набора ставят примерно на одну десятую ниже по шкале от 0 до 1. Замена опустила бы все строки таблицы → Прайс соврал. На вызов один новый судья вышел на 76% дешевле предшественника. Другой — на 33% дороже, хотя по прайсу он на 20% дешевле. Третий — на 75% дороже. Решает то, сколько токенов судья тратит на размышление
Раунд 2. Один слот оказался близким и дешёвым: первый судья, новая версия. Раунд 2 я записал до запуска: 27 прогонов, которых я не видел, 960 оценённых ответов, 23 конфигурации моделей.
| Правило | Предел | Результат |
|---|---|---|
| Корреляция со старым средним | ≥ 0,90 | 0,976 |
| Сдвиг среднего | ≤ 0,03 | −0,015 |
| Ранг 23 конфигураций | ≥ 0,95 | 0,983 |
| Наибольший сдвиг одной конфигурации | ≤ 0,05 | 0,044 |
| Цена на задачу | −30% или лучше | −36% |
| Задач через проходную черту | ≤ 5% | 6,6% (63 из 960) |
Промахи идут в одну сторону: 46 задач упали ниже черты и 17 поднялись. На 960 ответах доля прошедших сдвигается с 66,2% до 63,1%.
По моему правилу замена не принята, судьи остаются. Я мог бы сказать, что 6,6% достаточно близко, и мог бы сказать то же про любое другое число, поэтому черту и писал заранее.
Вся проверка стоила около $5 за вызовы API.
Что меняю: лимит расходов на ключе бенчмарка, потому что 8 и 9 октября съели около $100 этого счёта и ничто их не остановило. Если судью передвину позже, это будет помеченная вторая версия, а старые строки останутся первой, без тихой подмены.
Судьи остаются как есть.