Заметки с тегом
#бенчмарк
11 записей
- 3 мин чтения
0,56 + 0,38 + 0,04 + 0,03 = 1,01
Бюджет видеопамяти для двух моделей на одной карте никогда не сходился — обычный апгрейд vLLM наконец это показал.
- 3 мин чтения
GPT-5.6 Luna стоит в 10 раз дешевле Claude Sonnet 5 — и набрал ровно столько же
Прогнал свой замер через шесть закрытых моделей и четыре свои — и два случая, когда топовые модели молча отказали на совершенно безобидных задачах.
- 4 мин чтения
Qwen3.8-Flash-Next против прод-27B за три прогона: 0.789 был не тот конфиг
Новая архитектура Qwen4 против продакшн-27B на трёх прогонах — и почему прошлый пост цитировал не тот конфиг.
- 3 мин чтения
2-битный DeepSeek, Ornith-35B и ошибка в собственном замере
Три модели, которые я раньше не гонял на своём бенче, и ошибка в замере, которую поймал не я.
- 4 мин чтения
Сторонний NVFP4 против официального FP8 на Qwen3.8-27B: 1.35× быстрее
Мой NVFP4-чекпойнт (unsloth) быстрее официального FP8 в 1.35 раза на Qwen3.8-27B, backend-controlled. Качество — открытый вопрос, и по пути поймал себя на двух поспешных выводах.
- 3 мин чтения
Ассистент тренера: 32 источника, 70 вопросов, 77.4%
Корпус вырос с 9 до 32 источников. Повторный замер: 77.4% на 70 вопросах и 10/10 источников в новом модуле.
- 4 мин чтения
60 вопросов тренеру: зачем спортивному ИИ отраслевой бенч
Собрал первый баскетбольный срез ЛИИ Sport Bench: 60 вопросов, 9 публичных источников РФБ-Академии и первые числа по RAG-ассистенту.
- 4 мин чтения
Русский опенсорс на своём Blackwell — и где ломается NVFP4
Лестница открытых RU-моделей на RTX PRO 6000: плотная 27B взяла верх, 12B в полушаге при вдвое меньшем размере, а NVFP4 на Blackwell завёлся не для всех.
- 2 мин чтения
Починил NVFP4 на Blackwell — не хватало CUDA 12.9
Два бага на Blackwell оказались одним пробелом в CUDA-тулките, не багом vLLM. Обе модели теперь работают в NVFP4, память — на 4-5 ГБ больше расчёта.
- 3 мин чтения
DeepSeek V4 Flash на ЛИИ-Архитектор-Bench-RU: 0.717 и ₽0.022 за задачу
DeepSeek V4 Flash набрал 0.717 на ЛИИ-Архитектор-Bench-RU: дешевле V4-Pro, ниже топ-3, но впервые реален для 2×RTX PRO 6000.
- 4 мин чтения
Семь LLM против русского спортивного домена
Прогнал семь моделей через ЛИИ-Спорт-Bench-RU. Frontier-модели выигрывают по сырому счёту, но базой ЛИИ-Спорт всё равно остаётся Gemma 4 31B.