Память V100 SXM2 упирается в 85 °C при любом охлаждении — карту продал, остаюсь на RTX 5070 Ti
Карта простаивает: модель выгружена, нагрузки нет, потребление 48 Вт, а ядро 82 °C и через пару минут уже 87 — с этого порога она начинает сбрасывать частоту. Три недели назад в простое было 50.
Это Tesla V100 SXM2 32GB за ₽65 тысяч с рук, на переходнике с PCIe и кожухом на три вентилятора. Про неё был мой прошлый пост («Хост завис в первую же ночь…»). Здесь история про охлаждение памяти HBM и про то, где в прошлом посте я ошибся.
Память упирается в 85 °C, что бы я ни менял
Паспортные пороги из nvidia-smi -q: память 85 °C, замедление ядра 87 °C, отключение 90 °C. Частота памяти ни разу не упала ниже 877 МГц ни в одном замере, поэтому троттлинг виден только по частоте ядра и по флагу SW Thermal Slowdown. gpu_burn, лимит 300 Вт, 120 секунд:
| Что менял | Память, °C | Ядро, °C | Мощность, Вт | Частота ядра, МГц |
|---|---|---|---|---|
| 3 вентилятора (2 Arctic P8 + штатный Foxconn), 23.09 | 84-85 | 71-75 | 136-190 | 1000-1185 |
| 4 вентилятора | 84-85 | 72 | 147-189 | 1035-1147 |
| 3 штатных Foxconn, пересаженные прокладки (потом оказались треснувшими) | 84-85 | 74-75 | 90-115 | 562-637 |
| лимит 180 Вт, 03.10 | 86 за 75 с | 76 | 118 в среднем | 715 |
| новые прокладки 3 и 4 мм, 06.10 | 87, 85 °C на 12-й секунде | 83 | 90 в среднем | 475 |
Потолок памяти один и тот же в каждой строке. Число и тип вентиляторов его не двигали (штатные Foxconn, кстати, по паспорту 72 дБ). С лимитом 180 Вт карта не потребляла и 180: сбрасывала частоту уже на 118 Вт, потому что память упиралась в 85 °C.
Новые прокладки — 3 мм над основными банками HBM, 4 мм над крайними — сократили разрыв между памятью и ядром примерно с 10 К до 1-3 К. Память всё равно набрала 85 °C за 12 секунд, а замедление включилось на четвёртой.
Под реальной нагрузкой было так же. Два запроса по 28 тысяч токенов одновременно, девять минут: память в среднем 84 °C, максимум 93, в 43 замерах из 111 она была на 85 или выше. Обработка промпта упала до 450 токенов/с суммарно. В первый день без нагрузки было 141,9 токена/с на запрос и 57,8 токена/с генерации.
Прошлый пост я написал неправильно
В том посте я винил питание: два разъёма, включаются одновременно, хост зависает. Позже я прогнал полный цикл — перезагрузка, холодное включение, обе карты под нагрузкой — и зависание не повторилось ни разу. Проблемой оказалось охлаждение.
Окупаемость «6-7 месяцев» из того же поста считалась для карты в роли ежедневного драйвера. Роли у неё так и не появилось: на моём закрытом наборе она набрала 45% приёмки при пороге 80%. К охлаждению это не относится, это результат модели. Для этой карты та окупаемость не работает.
Серверный радиатор остудил ядро, а память нет
Дальше я заказал серверный радиатор SXM2. Для него пришлось вынуть RTX 5070 Ti и поставить V100 в слот x16. Память он не закрывает (прокладки нужны и тут), зато ядро остыло:
120 секунд gpu_burn | Погнутая плита | Серверный радиатор |
|---|---|---|
| Память ≥ 85 °C | на 12-й секунде | на 37-й |
| Первое замедление | на 4-й | на 53-й |
| Ядро, максимум | 83 °C | 74 °C |
| Средняя частота ядра | 475 МГц | 1144 МГц |
| Gflop/s (двойная точность) | 1543-1821 | 5637-5749 |
Ядро теперь с запасом, память нет: она на 12 К выше ядра, а с погнутой плитой разрыв был 1-3 К при горячем ядре. Здесь теряется больше всего.
Частота памяти не двигалась, и я ждал, что скорость генерации удержится. Под двумя потоками она была 16-26 токенов/с на поток против 57,8 токена/с на одном. Два одновременных запроса и троттлинг тут перемешаны, на один поток под нагрузкой я это не проверял.
Почему остаюсь на RTX 5070 Ti
Локальная модель у меня для данных, которые вообще нельзя отправлять в облако. Остальное идёт в облачные модели через PII-фильтр. С 23.09 локальная линия на RTX 5070 Ti, V100 я из неё убрал. На тесте 22.09:
→ RTX 5070 Ti на одном запросе: время до первого токена на 24% меньше, генерация на 44% быстрее → V100 выигрывала на двух параллельных запросах, и у неё 32 ГБ против 16
Это не стоило работы над охлаждением для карты, которая не прошла порог качества.
Честная оговорка. Одна карта, один комплект охлаждения. Температуру в комнате не мерил, оценка теплового сопротивления около 0,7 К/Вт сделана при допущении 27 °C. Плита упала и погнулась, один винт не затягивался, прокладки 3-4 мм: что из этого главное, я не разделил, линейкой плиту и отпечаток пасты не проверял. Замеры показывают, что мой тракт охлаждения не работает, а не что карта плохая: ECC включён, ошибок 0, retired pages 0, gpu_burn без ошибок во всех прогонах.
Карту продал.