Ассистент тренера: 32 источника, 70 вопросов, 77.4%
Перед повторным замером корпус провалил внутреннюю проверку: 19 правильных ответов из 31, или 61%. Все вопросы по двум видео-семинарам заканчивались отказом — ассистент говорил, что материала нет.
Материал был. Его не было в объединённом корпусе.
10 июля мы добавили 16 публичных семинаров РФБ-Академии к девяти методическим документам. Слияние завершилось без ошибки, поэтому мы считали, что внутри все 16. По факту доехали 14: семинар по технике броска и семинар по физической подготовке юных игроков остались в резервной копии. Никто этого не заметил, пока полный прогон не показал одинаковые отказы на всех вопросах из двух источников.
Ошибка наша: мы проверили успех операции, но не пересчитали фрагменты по каждому источнику.
Вернули недостающие 115 фрагментов — 76 из одного семинара и 39 из другого. Повторная внутренняя проверка дала 27/31, или 87%. Теперь слияние считается завершённым только после сверки числа фрагментов с перечнем источников. Зелёная пометка операции сама по себе больше ничего не доказывает.
Как и первый выпуск, это независимый публичный замер на открытых материалах. Это не совместный релиз с РФБ и не знак одобрения с её стороны.
Реальные вопросы тренеров расширили экзамен
До расширения паспорт ассистента показывал 75.2% на 60 вопросах. В корпусе было девять документов.
Первый пилотный пользователь — руководитель направления в федерации — проверил ассистента на реальных вопросах тренеров из почты. Они в основном были про повседневные процессы: как зарегистрироваться, что делать, если забыл пароль, какой курс выбрать для команды до 15 лет.
Для этих вопросов одних методических пособий недостаточно. В корпус добавили официальные инструкции по регистрации в ИС PRO и Онлайн-Академии, пошаговую инструкцию по получению допуска, каталог курсов, декларацию и бланки заявлений. Вместе с восстановленными видео-семинарами получилось 32 публичных источника и 4 809 фрагментов.
Экзамен тоже расширили: 60 вопросов стали 70, появился отдельный модуль «Регистрация и административные процессы».
| Замер | Было | Стало |
|---|---|---|
| Вопросы | 60 | 70 |
| Источники | 9 | 32 |
| Итоговый счёт | 75.2% (88/117) | 77.4% (106/137) |
| Аттестация и регламент | 50.0% | 75.0% |
| Регистрация и административные процессы | — | 80.0% |
В новом модуле ассистент привязал ответы к источникам 10 раз из 10. По всем отвечаемым модулям — 58/60. На вопросах, где оснований в корпусе нет и нужно остановиться, — 10/10 корректных отказов.
Рост модуля «Аттестация и регламент» с 50.0% до 75.0% тоже объясняется документами: в корпусе появились шаги получения допуска и нужные бланки. Замер показал конкретный закрытый пробел, а не абстрактное улучшение «умности» ассистента.
Без документов федерации — 0/10
Те же десять процессных вопросов дали двум контрольным вариантам ИИ без корпуса федерации. У обоих — 0/10 привязок к источникам.
Они могут написать правдоподобную инструкцию. Но порядок регистрации, восстановление доступа и внутренняя линейка курсов не живут в общих знаниях ИИ. Без документов остаётся угадывать — и уверенный ответ легко становится выдуманным.
Поэтому главное число этого прогона для меня — не только 77.4%, а разрыв 10/10 против 0/10 на реальных процессных вопросах.
77.4% описывает ровно этот экзамен: 70 публичных вопросов и текущий корпус из 32 источников. Это не универсальная оценка ассистента и не обещание, что он ответит на любой вопрос тренера. Следующие письма и отказы будут расширять экзамен, а не прятаться за общей цифрой.
И ещё одна процедура уже изменилась: каждое слияние корпуса теперь закрывается пересчётом фрагментов по каждому источнику. Именно полный прогон показал, что «16 семинаров» фактически были четырнадцатью.