2 мин чтения#ии#доверенный-ии#llm

Полный разворот: модель — это вызов API

Прошлую часть я закончил вопросом: а нужна ли своя видеокарта вообще? Вот ответ — и он развернул всю архитектуру.

Я неделю выбирал железо под модель. А модель — базовый товар, её можно взять по API за копейки. Зачем покупать видеокарту, чтобы крутить то, что и так доступно?

Так сложилась архитектура из двух контуров.

Публичный — витрина и пробный доступ. Тут модель — это вызов чужого API (российского, в российском контуре, по 152-ФЗ), а поверх неё работает мой слой доверия: тот же корпус, поиск, ссылки на пункт, честный отказ. Своей видеокарты не нужно вовсе — публичный контур крутится на обычном процессоре.

Суверенный — для клиента, которому всё нужно держать внутри своего контура: право, медицина, госданные. Тут модель работает на железе на месте, без единого внешнего вызова. И карту покупает тот, кому она правда нужна — тогда, когда подписан договор.

Оставался один вопрос: удержит ли чужая модель мою дисциплину «ссылайся или откажись»? Прогнал российские модели через свой бенчмарк. И недорогая российская модель эту дисциплину держит: отвечает по корпусу, ставит ссылку, честно молчит, когда основания нет.

Заодно прогнал свою же модель, но через чужой API вместо своего железа — цифры те же. Канал доставки модели на качество не влияет. Влияет слой поверх неё. Что и требовалось доказать.

Вывод тот же, что и в первой части — только теперь проверенный с трёх сторон: замером, железом и ценой. Модель — базовый товар. Видеокарта — тоже. Преимущество живёт в слое поверх них: корпус, проверяемая ссылка, честный отказ. Его я и строю как продукт. А видеокарту куплю тогда, когда за неё заплатит клиент.

Читать по теме