README.md

측정착시 도감 — Catalog of Measurement Illusions

A field guide to the ways AI evaluation deceives its own authors — every entry backed by a real, recorded case from our own research (no invented examples). Like CWE for software weaknesses, but for measurement.

측정이 측정한 사람을 속인 실제 사례의 카탈로그다. 항목은 전부 우리 연구 아크에서 실제로 발생하고 적발된 것들이며(출처=db/curated/ + 원장 seal), 창작 사례는 넣지 않는다. 안티바이러스 시그니처처럼 쓴다: 새 결과가 어떤 항목의 증상과 일치하면, 먼저 그 착시를 배제하고 나서 결과를 믿는다.

분류 (v2.10: 81항목)

디렉토리	뜻	항목 수
gaming/	게이밍/신기루 수법 — 지표가 실력 없이 오르는 길	19
self-catch/	자가적발 — "너무 좋다"를 스스로 의심해 잡은 거짓양성	33
fn-guard/	거짓음성 가드 — 음성을 믿기 전 확인해야 했던 것	24
contamination/	데이터/인코딩 오염 — 측정 이전에 무너진 입력	5

🔴 축이 둘이다 — 디렉토리 하나로는 안 갈린다 (2026-08-18 실측)

디렉토리 이름은 두 축이 섞여 있다. self-catch 는 누가 잡았나(발견경로)이고, 나머지 셋은 무엇이 틀렸나(오류유형)다. 형제처럼 나열돼 있지만 직교한다.

측정으로 드러났다. 이 도감을 안 본 독립 판정자에게 원본 기록만 주고 4개 중 하나를 고르게 했더니(n=52 · 봉인 539d7a76…):

정확도	29/52 = 0.558 (문턱 0.652 · 🔴KILL)
가장 큰 혼동	self-catch 24건 중 10건이 fn-guard 로

판정자가 둔해서가 아니라 갈 곳이 없어서다. "우리 검사 도구가 정상인 것을 FAIL 냈다" 는 기록은 네 칸 어디에도 안 맞고, fn-guard 가 가장 가까운 오답이 된다.

⇒ 오류유형 축에 최소 세 칸이 비어 있었다: instrument-misfire(계기가 정상을 FAIL) · attribution(요인 분리 없는 귀속) · prereg-defect(봉인문 자체의 결함).

그래서 무엇을 했나

self-catch/ 의 29개 표본 각각에 오류유형 한 줄을 추가했다. 디렉토리는 안 옮겼다 — 경로가 밖에서 참조되고 있어서다. 라벨은 두 코더가 독립으로 붙였고(한 명은 도감을 만든 쪽, 한 명은 문맥 없는 독립 판정자), 일치 23 / 이견 6 · 일치율 79.3% 였다. 이견 6건은 어느 쪽으로도 확정하지 않고 두 판독을 나란히 적었다.

아직 안 닫힌 것 (이견이 가리킨 구멍)

• 계기 결함에 방향이 없다. instrument-misfire 는 거짓 FAIL 만 담는다. 코드 버그로 지표가 좋게 나온 경우(sign-bug-generativity)는 갈 곳이 없어 gaming 으로 샌다.
• 범위 과대주장 칸이 없다. zero-dep-scope-overgeneralize 가 그 자리이고, 두 코더가 서로 다른 칸에 밀어 넣었다. n=1 이라 새 칸을 만들지 않고 열어 둔다.
• ⚠️ 위 79.3% 는 코더 간 일치율이지 정확도가 아니다. 정답이 따로 없는 라벨링이라, 새 축이 실제로 전달되는지는 같은 시험을 새 라벨로 다시 걸어야 답이 나온다(미실시).

🔴🔴 정정 (2026-08-18, 위 절에 대한 수정) — 그 측정의 계기가 고장나 있었다

위 절이 근거로 든 KILL 은 자극이 잘린 프로토콜에서 나왔다. 봉인문은 프로토콜을 "증상 76줄"로 적었는데 그 해시가 가리키는 파일엔 71줄뿐이었다(해시는 정직했고 서술이 틀렸다). 원인은 프로토콜 빌더의 조용한 상한 — 카테고리별 알파벳순 25개까지만 실었고, 25를 넘는 카테고리는 self-catch(30개) 하나라 알파벳 끝 5개가 빠졌다. 그중 3개가 52건 중 8건(15.4%)의 출처였다. 즉 판정자는 주어진 문서에 없는 시그니처를 알아보라는 요구를 받았고, 그 8건은 선언 우연(0.25) 아래인 0.125 를 냈다.

수리한 프로토콜(76줄)로 같은 데이터·같은 정답·같은 바로 다시 걸었다. 그리고 같은 날 밤, 그 결과가 재현되는지도 쟀다 — 표의 마지막 줄이 그것이고, 그게 위 줄을 무너뜨린다.

팔	프로토콜	정확도	문턱 0.652
봉인런(2026-08-18)	71줄(잘림)	0.558	🔴
대조(판정자만 새로)	71줄(잘림)	0.500	🔴
수리	76줄(완전)	0.673	🟢 여유 1건
수리 재현 5회(판정자만 새로)	76줄(완전)	0.596 · 0.692 · 0.654 · 0.615 · 0.538 → 평균 0.619	🔴 재현 실패

🔴🔴🔴 정정의 정정 (같은 날 밤) — 그 통과는 재현되지 않았다

아무것도 안 바꾸고 판정자만 다시 뽑아 5회 돌린 결과다(어떤 회차도 버리지 않았다).

• 이 계기의 뽑기 변동 sd = 0.0583 = 3.0건, 2sd = 6.1건.
• 원 수리 팔 0.673 은 여섯 뽑기(0.673·0.596·0.692·0.654·0.615·0.538) 중 두 번째로 높은 값이고 통과 여유는 1건이었다. ★최댓값은 재현 2회차 0.692(36/52) 다 — 아무것도 바꾸지 않고 판정자만 새로 뽑은 회차가 "통과"한 회차보다 더 높게 나왔다. 문턱을 넘고 못 넘고가 무엇이 달라져서가 아니라 누가 채점하느냐로 갈린다는 뜻이다. (⚠️ 2026-08-19 정정 — 이 줄은 원래 0.673 을 "최댓값" 이라고 적었다. 바로 옆에 나열한 여섯 값 안에 더 큰 0.692 가 있는데도 그랬다. 결론은 안 바뀐다 — 오히려 더 강해진다.)
• ⇒ 여유가 잡음보다 작은 통과는 통과가 아니다. 이 아크의 통과 셋(여유 1·3·6건)은 전부 2sd 안이다. 잡음 밖인 것은 대조의 실패(−8건) 하나뿐이다.

앞 정정에서 우리가 틀리게 쓴 문장 (지우지 않고 표시한다)

• "완전한 프로토콜에서는 문턱을 넘는다" → 재현되지 않는다.
• "짝비교 12 대 3 · p=0.0176"을 커버리지 효과의 근거로 쓴 것 → 그 논거는 "같은 세션이라 판정자 뽑기가 상쇄된다" 에 기대고 있었는데 그게 거짓이다. 같은 세션은 같은 뽑기가 아니고 두 팔은 각각 새로 뽑았다. 짝 부호검정은 문항 난이도만 통제하지 런 수준 뽑기는 못 잡는다. 모든 뽑기로 재계산하면 커버리지 효과는 +0.099(약 5건) 이다(완전 6뽑기 평균 0.6282 − 잘린 2뽑기 평균 0.5288). 방향은 유지, 크기는 절반, 유의성은 경계다. (⚠️ 2026-08-19 정정 — 이 줄은 원래 t≈2.09 라고 적었는데 어느 관례로도 재현되지 않았다. 점추정 +0.099 는 그대로 나온다. t 는 무엇을 표본으로 세느냐에 따라 뽑기 수준 pooled 2.24 (df=6) · Welch 2.69 · 문항 수준 짝차이 1.74(df=51) 로 갈린다. 셋 다 "경계" 라는 읽기는 바꾸지 않지만, 관례를 안 밝힌 t 는 수치가 아니다 — 그래서 관례와 함께 적는다.)
• "축 수리는 독립적으로 검증됐다(6칸 0.600 · 여유 6건)" → 6건 < 2sd 6.1건이라 그것도 잡음 안이다.

그래도 서는 것 — 문턱이 아니라 기제

잘린 8건은 두 번의 잘린 뽑기 모두에서 1/8 = 0.125(선언 우연 0.25 미만 · 두 번 다 동일)였고, 시그니처를 채우면 4/8 이다. 특정 기록·특정 원인이라 뽑기 잡음으로 설명되지 않는다. 이 절이 실제로 딛고 선 것은 이것이고, 이것뿐이다.

• 🔴 바뀐 것: 위 두 축 절의 KILL 을 "도감 시그니처는 전달되지 않는다" 로 읽을 수 없다 — 판정자에게 답의 15%가 없었다. 그 진단을 떠받치던 누출 10/24 중 5건이 잘린 기록이었고, 잘리지 않은 것만 보면 5/16(우연 0.25)로 훨씬 약하다.
• 🟢 안 바뀐 것: 봉인 KILL 자체는 선언대로 집행됐고 철회하지 않는다.
• ⚠️ 이제 못 하는 말: "수리하니 문턱을 넘었다" 계열 전부. 그리고 n=52 인 이 설계는 6건 미만의 차이를 못 가른다 — 우리가 물은 질문들에 검정력이 모자랐다. 이 sd 자체도 5뽑기라 더 넓은 산포를 아직 못 봤을 수 있다.

봉인: 결함 기록 dfccb26a… · 수리 팔 7c51d936…→c4b4ce03… · 6칸 팔 72e5a492…→9fa87937… · 대조 adf6a7f6…→e09d1f8c… · 재현 cf8fedb2…→76e2f5de…. 앵커 10/10 · stack_verify_all ALL OK 17/17 — ⚠️단 그 17/17 은 stack.json 에 이름이 선언된 원장 4개 (compute_governor · yeoul_gate_observation · seara · provenance)만 덮는다. 같은 디렉토리에 .jsonl 이 82개 있고, 그중 78개가 선언 밖이며 거기 판정 993건(전체 판정의 27.7%)이 산다. stack.json 은 2026-08-06 이후 안 바뀌었으므로 그 뒤 생긴 원장은 구조적으로 전부 검증 밖이다. "ALL OK" 를 전체 커버리지로 읽지 말 것 — 그것은 "선언된 것만 성했다" 는 뜻이다. 표본: self-catch/silent-cap-truncates-the-stimulus.

항목 스키마 (1항목 = 1파일)

# <id> — <이름>

> One-line English summary.          ← AI 스키머용 첫 줄

- **증상(시그니처)**: 무엇이 보이면 이 착시를 의심하나
- **기전**: 왜 이 착시가 생기나
- **실사례**: 실제 발생 기록 (출처: db/curated 라인 · 아크명 · 원장 seal)
- **탐지법**: 어느 프로브/규율 체크가 잡나
- **오적용 주의**: 이 라벨을 붙이면 안 되는 경우 (양방향 방어 — 과잉적발도 착시다)

규칙

1. 창작 금지 — 실사례 없는 항목은 도감에 못 들어온다. 출처는 db/curated/의 해당 라인(이 레포 git 이력이 증인)과, 있으면 원장 claim_id/seal.
2. 양방향 — 모든 항목에 "오적용 주의"가 있다. 착시 사냥 자체가 과잉적발이라는 새 착시를 만들지 않도록.
3. 성장 — 아크 종료 / KILL / 자가적발이 나올 때마다 표본 1장 추가 후보. 종결 세션 체크리스트에 포함. 봉인된 철회에서 초안을 자동 생성: python catalog/draft_specimen.py --ledger <L>.jsonl --latest — 실사례(원장 claim_id·seal)만 전사하고 증상/기전/탐지법/오적용은 TODO로 남긴다(창작 금지 규칙 유지). 사람이 TODO를 채우고 .DRAFT.md → .md로 승격해야 도감에 든다.

Provenance

Seed data: db/curated/{gaming_patterns.json, self_catches.jsonl, false_negative_guards.jsonl, contamination.jsonl} — sealed research history (chrysalis journey, ZERO/場 closures, measure-mirror self-audits). The ledger discipline that recorded these cases is specified in docs/SPEC.md.