TM-2370 P1-A는 **패치**와 **캘리브레이션** 두 부분인데, 패치는 #1209(`08fa1cd`)로 머지됐다. 캘리브레이션은 실측 데이터가 있어야 해서 남는다. ## 의존성 **다음 월요 08:07 벤치**가 48문항 첫 실측을 낸다. 그 전에는 착수 불가다. - 산출물: 각 노드 `~/.nunchi/bench-YYYYMMDD.md` - 스코프 노드는 `<audience-root>/<scope>/nunchi/bench-*.md`에 스코프별 시트가 따로 생긴다(#1192) — 노드 간 비교 시 스코프 단위를 섞지 말 것. ## 할 일 1. 전 노드 첫 실측 시트를 회수해 **베이스라인 기록**. 현재 요약이 내는 항목: ``` - positive rows (valid): 43 - negative-control rows (valid): 5 - correct rejections: N - fabrications (부정형 조작): N - unanswered rate: N% of 43 positive (threshold ≤10%) - gate verdict: PASS | FAIL | INDETERMINATE ``` 2. **`NUNCHI_BENCH_UNANSWERED_MAX_PCT` 확정값 결정.** 현재 기본값 10은 TM-2370 권고치를 그대로 넣은 것이고 실측 근거가 없다. 첫 달 분포를 보고 확정한다. 3. `INDETERMINATE`(오염) 노드가 있으면 게이트 판정에서 제외하고 백엔드 건강부터 처리 — 오염 시트는 "기록 없음"을 생성하지 않아 그냥 두면 최고 성적으로 보인다(#1078). ## 경계 - **`fabrications > 0`은 하드페일이며 캘리브레이션 대상이 아니다.** 임계를 느슨하게 잡아도 PASS를 살 수 없도록 판정 순서가 고정돼 있다(#1209 테스트로 고정). - 일반적 의미의 **환각 0** 판정은 근거 대조가 필요해 이 범위 밖이다 — 2단계 정답성 채점기 몫. #1209는 근거 없이 기계적으로 결정 가능한 **부정형 조작**만 게이트화했다. - 게이트 판정은 자문용이며 exit code를 바꾸지 않는다. cron 노이즈를 만들지 말 것(#1078). Refs #1209, #1208, #1207, TM-2370 P1-A
TM-2370 P1-A는 패치와 캘리브레이션 두 부분인데, 패치는 #1209(
08fa1cd)로 머지됐다. 캘리브레이션은 실측 데이터가 있어야 해서 남는다.의존성
다음 월요 08:07 벤치가 48문항 첫 실측을 낸다. 그 전에는 착수 불가다.
~/.nunchi/bench-YYYYMMDD.md<audience-root>/<scope>/nunchi/bench-*.md에 스코프별 시트가 따로 생긴다(fix(nunchi/bench): grade the scope ingest actually writes to, not a frozen store #1192) — 노드 간 비교 시 스코프 단위를 섞지 말 것.할 일
NUNCHI_BENCH_UNANSWERED_MAX_PCT확정값 결정. 현재 기본값 10은 TM-2370 권고치를 그대로 넣은 것이고 실측 근거가 없다. 첫 달 분포를 보고 확정한다.INDETERMINATE(오염) 노드가 있으면 게이트 판정에서 제외하고 백엔드 건강부터 처리 — 오염 시트는 "기록 없음"을 생성하지 않아 그냥 두면 최고 성적으로 보인다(bug(nunchi/bench): provider 인증 실패를 rc=0 성공으로 기록 — 3노드 표본이 만점으로 집계돼 게이트3 판정 오염 #1078).경계
fabrications > 0은 하드페일이며 캘리브레이션 대상이 아니다. 임계를 느슨하게 잡아도 PASS를 살 수 없도록 판정 순서가 고정돼 있다(feat(nunchi/bench): grade the Q-set's negative controls in reverse (TM-2370 P1-A) #1209 테스트로 고정).Refs #1209, #1208, #1207, TM-2370 P1-A