DeepSeek V4 Flash на ЛИИ-Архитектор-Bench-RU: 0.717 и ₽0.022 за задачу
DeepSeek V4 Flash набрал 0.717 на моём ЛИИ-Архитектор-Bench-RU: 41 решённая задача из 50, TTFT 4.72с, 23.7k reasoning-токенов и ₽0.022 за решённую задачу.
Я бы по интуиции мог списать DeepSeek после V4-Pro: тот пришёл на доску с 0.698 и не догнал верхнюю тройку. Flash поправил меня замером. Он всё ещё ниже GLM-5.2, Qwen 3.6 и Gemma 4, зато обошёл V4-Pro при цене в 4.8 раза ниже и стал самым дешёвым ₽/solved на всей доске.
Бенч тот же: 50 реальных задач, выкопанных из моих рабочих сессий. Не HumanEval, не «угадай правильный импорт», а моя нормальная нагрузка: стратегический синтез, архитектурные решения, документы, research distillation, немного кода и ops. Оценка — ансамбль из трёх судей: Gemini + GPT-5.1 + Opus 4.8. Один судья в таких задачах шумит, поэтому смотрю на среднее.
Доска на сегодня
| Модель | Балл | Заметка |
|---|---|---|
| GLM-5.2 | 0.809 | корона качества, режим «отправь и жди» |
| Qwen 3.6 | 0.779 | сильная ежедневная линия |
| Gemma 4 | 0.772 | практичный self-host pick прошлого прогона |
| DeepSeek V4 Flash | 0.717 | 41/50, TTFT 4.72с, 23.7k reasoning, ₽0.022/solved |
| DeepSeek V4-Pro | 0.698 | прежний DeepSeek baseline |
| Ведущая RU облачная LLM* | 0.477 | суверенный инкумбент проиграл открытым моделям |
AA Intelligence Index даёт для Flash 45. Это примерно уровень Haiku 4.5 (43), ниже Sonnet 5 (53). Моя короткая формулировка: класс «прошлое поколение Sonnet за 1/50 цены». Не замена Sonnet 5 везде. Но для потока архитекторских задач, где важна цена за решённую задачу, это уже другая полка.
Главный поворот — память
DeepSeek V4 Flash — 284B-A13B MoE, MIT, 1M контекст, $0.09/$0.18 за Mtok. На бумаге это всё ещё большая конструкция: в памяти держишь не 13B active, а весь чекпойнт. В прошлом спортивном прогоне я поэтому и записал DeepSeek в «кластерный бюджет».
Поворот в формате весов. Нативный mixed FP4+FP8 чекпойнт весит 148.7 GiB. Это влезает в 2×RTX PRO 6000: две карты по 96 ГБ, 192 ГБ суммарно. Чистый FP8 — 273.9 GiB, туда уже не влезает. Разницу между «купить две рабочие карты» и «строить большую коробку» дал формат чекпойнта.
По отчётам community на этой паре карт сейчас видят 100–220 tok/s single-stream и около 10K tok/s prefill. Это не моя финальная цифра, пока не прогоню у себя. Но порядок достаточный, чтобы перестать смотреть на Flash как на чисто API-модель.
И практичная деталь: он уже есть в Yandex AI Studio. Его можно потрогать в российском контуре до покупки железа. Для «Доверенного ИИ» это правильный порядок: сначала проверить дисциплину на своих задачах, потом думать про capex.
Честная оговорка
Flash «думает» долго: TTFT 4.72с и 23.7k reasoning-токенов на 50 задачах — это не мгновенная Gemma с 1.24с и нулём reasoning. SM120 serving под такие MoE ещё fork-heavy. И это мой бенч на моих задачах. Он не доказывает, что Flash сильнее для вашего продукта.
Он доказывает другое: на моей архитекторской нагрузке DeepSeek V4 Flash стал самой дешёвой решающей моделью на доске и впервые выглядит как реальный кандидат на 2×RTX PRO 6000 вместо красивой строки в чужом API.
Доска целиком, методика и сырые прогоны — на bench.csylabs.com/architect.