Блог · 2026-10-18

Как мы меряем over-refusal research-пресетами.

Over-refusal — когда модель отказывает на lawful-промптах. Меряем маленьким сетом фикшн краевых кейсов, дважды — с пресетом и без — и считаем дельту ложных отказов. Только свои системы или с разрешения.

Метод за 4 шага

1) Соберите 30-50 lawful фикшн промптов с частыми ложными отказами. 2) Прогон без пресета. 3) Прогон с X-Relay-Preset. 4) Скоринг отказ/ответ + качество. Метрика: доля ложных отказов и дельта. Только lawful, без незаконного в логах.

POST /v1/chat/completions  base https://app.rawline.dev/v1
Header: X-Relay-Preset: redteam-fiction-v1  (пресет на запрос)

Почему пресет меняет счёт

Пресет смягчает отказы на lawful-креативе и показывает границу: что было ложным отказом, а что корректным. Дельта — и есть находка для тикета по гардрейлам, затем повторный прогон.

Чек-лист перед публикацией цифр

Scope и разрешение зафиксированы. Чужой прод не трогаем. Датасет lawful. Незаконное отклоняется в обоих прогонах. Публикуем метод, имя пресета, список моделей из GET /v1/models и сырые доли — не только дельту.

Только исследования. Без незаконного. Тестируйте свои системы или с разрешения.