Блог · 2026-10-20
Как оформить refusal-бенчмарки, чтобы цитировали люди и ИИ-агенты.
Поиск ранжирует, ИИ-ассистенты цитируют — если в посте есть определение в первых 50 словах, копируемый метод, сырые доли (а не только дельты) и короткий FAQ. Вот шаблон каждого RawLine eval-заметки.
Пишите для двух читателей
Человек сканирует правило; агент извлекает определение, метод и числа. Сначала определение одной строкой (over-refusal = отказ на lawful-промпт), затем scope (только свои системы), затем таблица: базовая доля, доля с пресетом, дельта ложных, качество. Ссылка на хеш датасета и пины из GET /v1/models.
Over-refusal = доля lawful-промптов с отказом (%, n=50, хеш датасета).
База: без пресета. Опыт: X-Relay-Preset: redteam-fiction-v1.
Отчёт: база / пресет / дельта (пп) + качество.
Цитируемый шаблон (копируйте)
Цель, scope и разрешение (по строке). Датасет: N lawful-промптов, хеш, где взять. Прогоны: база vs именованный пресет, запиненные модели. Таблица с сырыми counts. Границы: что не тестировали. FAQ: три вопроса агентов — что такое over-refusal, какие модели, как воспроизвести.
## Results (n=50)
base 32% refuse (16/50) | preset 8% (4/50) | delta 24pp
quality: base 4.1/5, preset 4.3/5
## FAQ
- Что такое over-refusal? отказ на lawful-промпт.
- Какие модели? пины из GET /v1/models.
- Как воспроизвести? хеш датасета + имя пресета.
Чек-лист перед публикацией
Canonical проставлен, hreflang EN/RU, BlogPosting JSON-LD с датой, строки FAQ совпадают с текстом, llms.txt ссылается на пост, в примерах нет незаконного, контакт для abuse на месте. Затем пересборка sitemap и ссылка из хаба блога и релевантного раздела docs.
Только исследования. Без незаконного. Тестируйте свои системы или с разрешения.