60 вопросов тренеру: зачем спортивному ИИ отраслевой бенч
Собрал первый узкий срез ЛИИ Sport Bench — 60 вопросов для баскетбольного тренера на публичных методических материалах РФБ-Академии.
Это не совместный релиз с РФБ и не знак одобрения с их стороны. Я взял публичные источники, аккуратно сослался на них в методике и прогнал свой же ассистент через вопросы, где общий бенчмарк обычно ничего не показывает.
В нише меня интересует более жёсткий вопрос: можно ли доверять ассистенту именно здесь — в баскетбольной методике, возрасте детей, тактике, регламентах и безопасных отказах.
Что внутри бенча
Версия v0.1 пока маленькая и специально узкая:
→ 60 вопросов
→ 9 публичных источников РФБ-Академии
→ 3,448 фрагментов корпуса после пере-нарезки; первая нарезка была завышена из-за ошибки chunker'а
→ 6 модулей: школа и учитель ФК, возрастная методика, техника, тактика, аттестация, границы и отказы
→ рубрика 0–4
→ автоматическая проверка cite-match и refusal-recall
→ проверяемая модель всегда экзаменуемый, никогда не ключ с ответами
Последний пункт самый важный. Если ИИ сам написал вопрос, сам написал эталон и сам себя оценил — проверки не получилось; вышел аккуратный круг по комнате. Ключ берётся из корпуса и, где корпуса не хватает, уходит в слот методиста. В первом прогоне такие вопросы получили отдельную пометку: точным знанием они не считаются.
Frontier-модель тоже уверенно выдумывает
Перед прогоном я дал frontier-модели проверить набор вопросов. Она предложила десять уверенных правок.
После проверки по источникам получилось так:
→ 7 правок прошли
→ 2 пришлось понизить до «нужен методист»
→ 1 правка была просто выдумкой
Самая показательная: модель уверенно принесла правило «зонная защита до 12 лет запрещена». В источниках такого правила не было. При этом звучало правдоподобно, баскетбольно, с нормальной интонацией.
Вот поэтому проверка по источникам обязательна. Модели могут ошибаться не из глупости: уверенность в тексте и наличие основания в документе — разные вещи.
Первые числа
Прогнал три дорожки. Судья один для всех — gemini-3.1-pro, проходной порог 7/10.
| Дорожка | Composite | Cite-match A–E | Refusal F |
|---|---|---|---|
| RAG-ассистент на корпусе РФБ-Академии | 69.2% | 50/50 | 0/10 |
| Raw qwen3.6-35b без RAG | 36.8% | 2/50 | 9/10 |
| Закрытая RU облачная LLM без RAG | 32.5% | 0/50 | 10/10 |
Название закрытой облачной модели в публичной сравнительной таблице не пишу: для таких API это отдельный юридический контур. Внутри протокола оно сохранено; наружу выношу категорию, счёт и вывод.
Главный результат не в общем месте в таблице. RAG-ассистент — единственный, кто стабильно привязывает ответы к документам: 50 из 50 на отвечаемых модулях. Сырые модели иногда дают хороший тренерский текст, но почти не могут доказать, откуда он взялся.
Для «доверенного ИИ» это не мелочь. Ответ без источника может быть красивым. Рабочим он становится только тогда, когда его можно проверить.
Неприятная часть — наша
На граничных вопросах мой ассистент провалился: 0/10 refusal-recall.
Сырые модели здесь осторожнее: 9/10 и 10/10. Они чаще говорят «не могу ответить» там, где вопрос про медицину, опасную практику или внекорпусный регламент. Мой ассистент иногда пытается быть полезным и цепляет корпусообразные ссылки там, где должен остановиться.
Это плохой результат. И хороший результат бенча.
Плохой — потому что так нельзя отдавать в демонстрацию как готовую границу. Хороший — потому что слабость нашлась не на созвоне, не на публичной демо, а в измерении. Теперь чиню именно этот слой: отказ без выдуманных цитат, явный перевод к врачу или методисту, ноль ссылок там, где корпус не даёт основания.
В ту же ночь я починил boundary gate и chunker. Починка уже в живом контуре; формальный повторный прогон бенча ещё впереди, поэтому в таблице оставляю первый честный результат.
Семейство отраслевых бенчей
ЛИИ Sport Bench — не разовая таблица. Это семейство отраслевых бенчей на bench.csylabs.com: спорт → баскетбол сейчас, медицина → готовится следующим слоем.
Идея простая: под каждую нишу нужен свой экзамен. Общая «умность» модели здесь вторична; прикладной вопрос — «можно ли ей доверить работу рядом с человеком, который отвечает за детей, пациентов, документы или деньги».
Баскетбольный срез показал обе стороны сразу: корпусный RAG уже выигрывает там, где нужна привязка к источникам; границы отказа пока слабые и требуют починки. В этом и смысл бенча.
Доверие измеряется, а не обещается.