Блог · 2026-10-18

Нецензурированный API vs чат: что реально нужно вашему eval.

Чат-приложения продают персонажей и генерацию картинок. API продаёт программируемый примитив. Если цель — red-team, refusal-бенчмарки или тесты гардрейлов, нужен второй. Вот правило в одну строку плюс воркфлоу, который можно скопировать.

Правило в одну строку

Если по нему кликает человек — это чат. Если по нему крутится скрипт и скорит выводы — это API-нагрузка. Eval — это скрипты: датасеты на входе, метрики на выходе, прогоны по моделям. Чаты так не умеют воспроизводимо: нет пресетов на запрос, нет пинов моделей, нет потokenной оплаты для цены на кейс.

Воркфлоу eval (копируйте)

Пините модель, вешайте research-пресет на запрос, гоняйте lawful краевой сет дважды (бейзлайн vs пресет), логируйте отказ/ответ плюс качество, затем hardening гардрейлов и повтор. Один ключ, один счёт, все лабы.

for model in GET /v1/models (фиксированный список):
  for preset in [none, redteam-fiction-v1]:
    run(dataset, model, headers={X-Relay-Preset: preset})
    score(refusal_rate, false_refusal_rate, quality)

Чек-лист перед оплатой

Нужны пресеты на запрос (а не тоггл в чате), оплата за токены (а не подписка), живые цены (GET /v1/models) и мультидиалекты, если харнес говорит на Anthropic или Gemini. Если нужен просто персонаж для общения — берите чат-приложение, это дешевле. Полная таблица — на странице сравнения.

Только исследования. Без незаконного. Тестируйте свои системы или с разрешения.