---
name: llm_judge_needs_per_item_topic
description: "LLM-судья «это дубль?» отвечает «да» на всё, если не заставить сперва назвать тему КАЖДОГО элемента отдельно"
metadata: 
  node_type: memory
  type: feedback
  originSessionId: 0a7ddf2b-508e-45e8-9db2-bfeb94cae09b
  modified: 2026-08-06T13:37:36.107Z
---

Вопрос модели «эти два текста об одном и том же?» в лоб **не работает как классификатор**. Замер в CebersPost: ВСЕ провайдеры (gigachat, nvidia, zai) ответили «дубль» на **10 пар из 10**, включая заведомо разные («Контекстное окно модели» vs «история про сломанный платёжный код») — модель цепляется за общую область («оба про ИИ») и соглашается с рамкой вопроса.

**Why:** формулировка «они похожи?» — наводящая; модель ищет подтверждение, а не различие. Явные оговорки в промпте («сомневаешься — false», «разные темы в одной области НЕ дубль») **не спасают**.

**How to apply:**
- Заставить модель **сначала назвать тему КАЖДОГО элемента отдельно** (`{"topic1":"...","topic2":"...","same":bool}`), и только потом решать. После этого — 0 ложных срабатываний на том же наборе. Сравнение идёт по извлечённым темам, а не по общему впечатлению.
- В промпт добавить, что **общая область не является признаком дубля** («почти весь канал про ИИ»).
- **Всегда мерить обе стороны на размеченном наборе**: только позитивы («ловит дубли») выглядят прекрасно у сломанного судьи, который говорит «да» на всё. Ловушка: если корпус реально грязный, «10/10 дубль» читается как успех.
- Мерить **по провайдерам отдельно** — разброс огромный (5/6 при 0 ложных против 6/6 при 1 ложном), и порядок цепочки решает качество.
- Вердикт **недетерминирован**: одна пара в разных прогонах даёт разный ответ. Если цена промаха и ложного срабатывания асимметрична — спрашивать несколько раз и голосовать в сторону дешёвой ошибки.
- **Fail-open** на любой сбой шины: не давать недоступности LLM убивать нормальный контент.

Родственное: [[antidup_window_larger_than_pool]] (там же выяснилось, что дубли шли не от дедупа, а от выбора темы), [[ceberspost_overview]], [[sport_reliability_quality_pref]] (одна модель — не консенсус).
