Заметки с тегом
#gemma
2 записей
- 2 мин чтения
Выбрал модель под железо, которое есть
Выбирал модель для «Доверенного ИИ» под 24 ГБ. Замер оказался умнее интуиции: MoE обошла плотную модель вдвое крупнее, «thinking» только мешал.
- 7 мин чтения
Доверенный ИИ на практике: RAG, который ссылается на источник — или честно отказывается
Собрал за выходные RAG, который отвечает строго по корпусу и к каждому утверждению ставит ссылку на пункт — или честно отказывается. Локально на Gemma-4, ни одного внешнего вызова на инференсе. Стек, баги и цифры.