Заметки с тегом
#инфраструктура
16 записей
- 3 мин чтения
Qwen3.8-Flash-Next прочитала 129 тысяч токенов на RTX 5070 Ti
Три метки в длинном промпте, 76,5 секунды до ответа и 4 ГиБ swap. Повторный замер Flash-Next с выгрузкой экспертов в оперативную память.
- 4 мин чтения
Первый день в Индии: HEVC без картинки, RTMP вместо SRT и четыре записи на 25,6 ГБ
Что сломалось в первый день турнира CAVA в Индии, что я проверил, а что нет: кодек, транспорт камеры, запись на приёме и копия в R2.
- 4 мин чтения
Gemma 4 26B догнала Qwen 3.8 27B на моих задачах, а отвечает за 0,3 секунды вместо 5–7
Два сида опровергли мой первый вывод: Gemma 4 26B без размышлений сравнялась с Qwen 3.8 27B на публичном наборе dale и отвечает в 17–24 раза быстрее. Какие баги стенда я нашёл по дороге и чего не измерил.
- 6 мин чтения
Qwen3.8-Flash-Next на 125 млрд параметров дома: 16 ГБ видеопамяти, 40 ГиБ экспертов в RAM, 32–40 токенов/с
Как большая MoE-модель запустилась на домашней карте с 16 ГБ через Strata, что сломалось по дороге (swap, CUDA, NVDEC) и что я пока не измерил.
- 5 мин чтения
Память V100 SXM2 упирается в 85 °C при любом охлаждении — карту продал, остаюсь на RTX 5070 Ti
Четыре попытки охладить V100 SXM2: память упирается в 85 °C, что бы я ни менял. Карту продал, остаюсь на RTX 5070 Ti.
- 3 мин чтения
Хост завис в первую же ночь. Два дня спустя — приватный ИИ, который экономит ₽75 500 в месяц
Купил видеокарту с рук — хост завис в первую же ночь. За два дня починил пять вещей: от разгона питания до финансовой модели.
- 3 мин чтения
0,56 + 0,38 + 0,04 + 0,03 = 1,01
Бюджет видеопамяти для двух моделей на одной карте никогда не сходился — обычный апгрейд vLLM наконец это показал.
- 4 мин чтения
Qwen3.8-Flash-Next против прод-27B за три прогона: 0.789 был не тот конфиг
Новая архитектура Qwen4 против продакшн-27B на трёх прогонах — и почему прошлый пост цитировал не тот конфиг.
- 3 мин чтения
2-битный DeepSeek, Ornith-35B и ошибка в собственном замере
Три модели, которые я раньше не гонял на своём бенче, и ошибка в замере, которую поймал не я.
- 3 мин чтения
18 квантов на одной карте: втрое быстрее — не значит умнее
Прогнал 18 конфигураций трёх моделей на арендованной карте. Получил таблицу под любой размер видеопамяти — и один дефект, который вендорский бенч не показал.
- 4 мин чтения
Больше памяти — не значит быстрее: prefill, decode и релиз Apple M5 Ultra
Apple выпустила M6 и M5 Ultra. Разбираю на roofline-модели и реальных цифрах, почему prefill и decode упираются в разное железо — и кому 512 ГБ единой памяти реально нужны.
- 4 мин чтения
Сторонний NVFP4 против официального FP8 на Qwen3.8-27B: 1.35× быстрее
Мой NVFP4-чекпойнт (unsloth) быстрее официального FP8 в 1.35 раза на Qwen3.8-27B, backend-controlled. Качество — открытый вопрос, и по пути поймал себя на двух поспешных выводах.
- 4 мин чтения
Русский опенсорс на своём Blackwell — и где ломается NVFP4
Лестница открытых RU-моделей на RTX PRO 6000: плотная 27B взяла верх, 12B в полушаге при вдвое меньшем размере, а NVFP4 на Blackwell завёлся не для всех.
- 2 мин чтения
Починил NVFP4 на Blackwell — не хватало CUDA 12.9
Два бага на Blackwell оказались одним пробелом в CUDA-тулките, не багом vLLM. Обе модели теперь работают в NVFP4, память — на 4-5 ГБ больше расчёта.
- 3 мин чтения
DeepSeek V4 Flash на ЛИИ-Архитектор-Bench-RU: 0.717 и ₽0.022 за задачу
DeepSeek V4 Flash набрал 0.717 на ЛИИ-Архитектор-Bench-RU: дешевле V4-Pro, ниже топ-3, но впервые реален для 2×RTX PRO 6000.
- 2 мин чтения
А нужна ли вообще своя видеокарта?
Дефицит видеопамяти, аренда дорожает. Сел выбирать видеокарту — а правильный вопрос оказался в другом: нужна ли она вообще.