Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion manuscript/CONF_ABSTRACT_GIW2026_BIOP02.md
Original file line number Diff line number Diff line change
Expand Up @@ -54,7 +54,7 @@ AI 모델은 H&E 조직형태에서 분자 상태를 읽어낸다. 그러나 읽

1. **폐 KRAS-G12C 0.681 < 조직형만 쓰는 기준선 0.793** — 양성 14명이라 우리 규칙상 미결 축이므로, 결론이 아니라 관찰로만 쓴다.
2. **Yale pCR 0.533 [0.411, 0.653]** — 탐색적 결과 확인이며 독립 검증이 아니다. Farahmand 0.80에 못 미친다고 명시.
3. **Cramér's V = 0.378** (HPV site-라벨 구조) — 초록에서는 "3종 중 2종"만 남겼다.
3. **Cramér's V = 0.397** (HPV site-라벨 구조) — 초록에서는 "3종 중 2종"만 남겼다.
4. **음성 결과의 모델 무관 재현** (Lauren 실패·ERBB2 무신호가 3종 모두에서) — 원고 R5 근거. 초록에 넣기엔 자리가 없었다.
5. **operating point 미완성** — 오배정률 1.00의 해석이 임계에 의존하며 사전정의 분석(BIOP02-138)이 미완이라는 사실. 초록에서는 수치 해석을 안 하는 방식으로 우회했다.
6. 그림 우선순위: **Fig2(결정지도) + Fig4(검정력 천장)**. 지도보다 지도를 만든 증거가 먼저다.
Expand Down
2 changes: 1 addition & 1 deletion manuscript/DRAFT_ML4H_v2_CHANGELOG.md
Original file line number Diff line number Diff line change
Expand Up @@ -34,7 +34,7 @@

8. **20-seed HPV/Virchow2 non-adoption stated (Discussion).** New: 20-seed indicated the Virchow2 HPV threshold stabilises (≈0.837) and *would* flip that cell to pass, but **not adopted** pending braveji (BIOP02-123); reported status stays "2 of 3 models". Source: `04_discussion.md` item 6; `experiments/kkkim/20260820_shuffle_null_20seed/`.

9. **Site-confounding + stain-scope co-located (Discussion).** Per review guidance, the site-audit limits (HPV V = 0.378; lung V = 1.000) and the stain-normalisation scope limit are placed in **one** Limitations paragraph, so it is clear that neither fully covers the headline HPV/lung results.
9. **Site-confounding + stain-scope co-located (Discussion).** Per review guidance, the site-audit limits (HPV V = 0.397; lung V = 1.000) and the stain-normalisation scope limit are placed in **one** Limitations paragraph, so it is clear that neither fully covers the headline HPV/lung results.

10. **Two anchor limitation blocks preserved** from `04_discussion.md` (BIOP02-75 critic gate): endpoint-specific baseline value, probability-level fidelity, HER2 honest negative, cell-line transfer.

Expand Down
4 changes: 2 additions & 2 deletions manuscript/DRAFT_ML4H_v2_full.md
Original file line number Diff line number Diff line change
Expand Up @@ -67,7 +67,7 @@ Every endpoint is reported alongside a shuffle-null (5-seed), a prevalence basel

<!-- v2 change: CRC BRAF corrected from v1's mismatched "0.868 [0.780–0.938]" to the point+CI pair reported together in COLORECTAL/full/LAW_TEST.md L14 = 0.8817 [0.817, 0.938] (holdout161, the canonical routing split). The 5-seed R5 value 0.8676 is a DIFFERENT split (holdout151) — see LAW_TEST.md L18 numeric-consistency note. -->

† HPV robustness passed 5-seed chance-exclusion in only 2 of 3 foundation models (UNI and UNI2-h) and did not clear the pre-specified criterion in Virchow2 (real 0.9199 < threshold 0.9234, margin −0.0035 — a wide shuffle-null spread, not signal absence; see R5). <!-- src: experiments/crosscancer/MULTIFM_COMPARISON.md §5; CROSSCHECK_5SEED_MULTIFM.md HPV/virchow2 row --> The site audit also found site-label structuring (Cramér's V = 0.378). HPV is the single powered anchor that fixes one end of the map — not a generalisation of the law and not a model-independent confirmation. <!-- src: experiments/kkkim/20260805_site_audit/site_audit_results.json -->
† HPV robustness passed 5-seed chance-exclusion in only 2 of 3 foundation models (UNI and UNI2-h) and did not clear the pre-specified criterion in Virchow2 (real 0.9199 < threshold 0.9234, margin −0.0035 — a wide shuffle-null spread, not signal absence; see R5). <!-- src: experiments/crosscancer/MULTIFM_COMPARISON.md §5; CROSSCHECK_5SEED_MULTIFM.md HPV/virchow2 row --> The site audit also found site-label structuring (Cramér's V = 0.397). HPV is the single powered anchor that fixes one end of the map — not a generalisation of the law and not a model-independent confirmation. <!-- src: experiments/kkkim/20260805_site_audit/site_audit_results.json -->
‡ For lung histology (positive control) the site audit gave V(site, label) = 1.000: TCGA-LUAD/LUSC institution codes coincide 100% with histology, so the morphological signal cannot be separated from the site signature. This limit is stated explicitly wherever the positive control is interpreted. <!-- src: site_audit_results.json -->

### R2. Our pre-registered split cannot decide the mutation axes — the power ceiling
Expand Down Expand Up @@ -164,7 +164,7 @@ In breast HER2, routing from predicted subtype failed consistently in this cohor

The limits are placed in front. All results are retrospective, cohort-level and `hypothesis_only`; they are not claims of individual-level benefit.

**Site/batch confounding and stain-variation limits — the two "is it really morphology?" attacks, together.** The site-disjoint split prevented leakage in which slides from the same institution enter both training and evaluation, but the coupling between label and institution (confounding) remains, which limits interpreting performance as a pure morphological signal. A site/batch confounding audit confirmed in five endpoints that the site-disjoint split confounds labels with the tissue source site — lung histology (positive control) at V = 1.000, where morphology and site signature cannot be separated; head and neck HPV at V = 0.378; gastric Lauren, whose prevalence shifts from 0.46 to 0.88; and lung EGFR and KRAS, which also show significant site-label association. This is a necessary condition for confounding, not proof that "the model reads site". Separately, H&E stain normalisation was not applied in the main pipeline; a stain-normalisation robustness check preserved the breast anchor pattern (HER2 near-chance, ER high, PAM50 preserved), but **this check covers the breast anchor only** — the cross-cancer headline axes (head and neck HPV, lung histology) could not be re-checked because their raw slides were lost and re-extraction is deferred. The two headline results a reviewer would most likely attack as scanner/stain artefacts are therefore exactly the ones that carry the site-confounding flags and are not yet stain-verified; we state this openly. Site predictability from H&E and leave-one-site-out performance will adjudicate the confounding question; until then these limits are stated wherever the two anchors are interpreted. <!-- src: site_audit_results.json; experiments/kkkim/20260819_stain_norm_robustness/ (BRCA anchor only); GPU return / raw loss noted in RESUME.md -->
**Site/batch confounding and stain-variation limits — the two "is it really morphology?" attacks, together.** The site-disjoint split prevented leakage in which slides from the same institution enter both training and evaluation, but the coupling between label and institution (confounding) remains, which limits interpreting performance as a pure morphological signal. A site/batch confounding audit confirmed in five endpoints that the site-disjoint split confounds labels with the tissue source site — lung histology (positive control) at V = 1.000, where morphology and site signature cannot be separated; head and neck HPV at V = 0.397; gastric Lauren, whose prevalence shifts from 0.46 to 0.88; and lung EGFR and KRAS, which also show significant site-label association. This is a necessary condition for confounding, not proof that "the model reads site". Separately, H&E stain normalisation was not applied in the main pipeline; a stain-normalisation robustness check preserved the breast anchor pattern (HER2 near-chance, ER high, PAM50 preserved), but **this check covers the breast anchor only** — the cross-cancer headline axes (head and neck HPV, lung histology) could not be re-checked because their raw slides were lost and re-extraction is deferred. The two headline results a reviewer would most likely attack as scanner/stain artefacts are therefore exactly the ones that carry the site-confounding flags and are not yet stain-verified; we state this openly. Site predictability from H&E and leave-one-site-out performance will adjudicate the confounding question; until then these limits are stated wherever the two anchors are interpreted. <!-- src: site_audit_results.json; experiments/kkkim/20260819_stain_norm_robustness/ (BRCA anchor only); GPU return / raw loss noted in RESUME.md -->

On model independence, the relative AUROC ordering among lung endpoints (histology > EGFR > KRAS) and the principal negative results were preserved across all three foundation models evaluated, whereas whether an individual molecular axis clears chance-exclusion varied by model. This is ordering stability, not model independence of the law as a whole: the headline single-endpoint confirmations (HPV, colorectal BRAF) each cleared chance-exclusion in only two of three foundation models. We note that a 20-seed re-check indicated the Virchow2 HPV threshold stabilises (to ≈0.837) and would flip that cell to a pass, but **this verdict change is not adopted** pending braveji's Critic confirmation (BIOP02-123); the reported status remains "2 of 3 models". <!-- src: 04_discussion.md item 6; experiments/kkkim/20260820_shuffle_null_20seed/ -->

Expand Down
4 changes: 2 additions & 2 deletions manuscript/DRAFT_ML4H_v2_full_ko.md
Original file line number Diff line number Diff line change
Expand Up @@ -69,7 +69,7 @@ H&E 조직 이미지에서 종양의 분자 상태를 예측하는 연구는 이

<!-- v2 change: 대장 BRAF를 v1의 어긋난 짝 "0.868 [0.780–0.938]"에서 COLORECTAL/full/LAW_TEST.md L14에 함께 보고된 점추정+CI 짝 = 0.8817 [0.817, 0.938](holdout161, 정본 라우팅 분할)로 정정. 5-seed R5 값 0.8676은 다른 분할(holdout151)이다 — LAW_TEST.md L18 수치 일관성 주석 참조. -->

† HPV 견고성은 3개 파운데이션 모델 중 2개(UNI·UNI2-h)에서만 5-seed 우연배제를 통과했고 Virchow2에서는 사전 기준을 통과하지 못하였다(real 0.9199 < 임계 0.9234, 마진 −0.0035 — 이는 셔플 null 산포가 넓은 것이며 신호 부재가 아니다; R5 참조). <!-- src: experiments/crosscancer/MULTIFM_COMPARISON.md §5; CROSSCHECK_5SEED_MULTIFM.md HPV/virchow2 row --> 또한 site 감사에서 site-label 구조화가 관찰되었다(Cramér's V = 0.378). HPV는 지도 한쪽 끝을 고정한 유일한 검정력 앵커일 뿐 법칙 일반화나 모델 무관 확증이 아니다. <!-- src: experiments/kkkim/20260805_site_audit/site_audit_results.json -->
† HPV 견고성은 3개 파운데이션 모델 중 2개(UNI·UNI2-h)에서만 5-seed 우연배제를 통과했고 Virchow2에서는 사전 기준을 통과하지 못하였다(real 0.9199 < 임계 0.9234, 마진 −0.0035 — 이는 셔플 null 산포가 넓은 것이며 신호 부재가 아니다; R5 참조). <!-- src: experiments/crosscancer/MULTIFM_COMPARISON.md §5; CROSSCHECK_5SEED_MULTIFM.md HPV/virchow2 row --> 또한 site 감사에서 site-label 구조화가 관찰되었다(Cramér's V = 0.397). HPV는 지도 한쪽 끝을 고정한 유일한 검정력 앵커일 뿐 법칙 일반화나 모델 무관 확증이 아니다. <!-- src: experiments/kkkim/20260805_site_audit/site_audit_results.json -->
‡ 폐 조직형(양성대조)은 site 감사에서 V(site, label) = 1.000이었다 — TCGA-LUAD/LUSC의 기관코드가 조직형과 100% 일치해 형태 신호와 site 서명이 분리 불가하다. 양성대조를 해석하는 모든 곳에 이 한계를 명시한다. <!-- src: site_audit_results.json -->

### R2. 우리 사전등록 분할에서는 변이축을 정할 수 없다 — 검정력 천장
Expand Down Expand Up @@ -166,7 +166,7 @@ Lauren diffuse는 원래 양성대조였다. 인환세포와 미만형은 강한

한계는 정면에 둔다. 모든 산출은 후향적·코호트 수준이며 `hypothesis_only`로, 개인 수준 benefit 주장이 아니다.

**Site/batch 교란과 염색 변이 한계 — "정말 형태인가?"라는 두 공격을 함께.** site-disjoint 분할은 동일 기관 슬라이드가 학습과 평가에 함께 들어가는 leakage를 방지했지만, 라벨과 기관의 결합(confounding)은 남아 있어 성능을 순수 형태 신호로 해석하는 데 한계가 있다. site/batch 교란 감사는 site-disjoint 분할이 라벨을 조직원천기관과 교란함을 다섯 개 endpoint에서 확인하였다 — 폐 조직형(양성대조) V = 1.000으로 형태와 site 서명이 분리 불가하고, 두경부 HPV V = 0.378, 위 Lauren은 유병률이 0.46에서 0.88로 이동하며, 폐 EGFR·KRAS도 site-label 연관이 유의하다. 이는 교란의 필요조건이지 "모델이 site를 읽는다"의 증명이 아니다. 별개로, H&E 염색 정규화는 주 파이프라인에 적용하지 않았다. 염색 정규화 견고성 점검은 유방 앵커 패턴(HER2 우연 수준, ER 높음, PAM50 보존)을 보존했지만, **이 점검은 유방 앵커에만 해당한다** — 다암종 헤드라인 축(두경부 HPV, 폐 조직형)은 raw 슬라이드가 소실되어 재추출이 보류돼 재점검하지 못하였다. 즉 리뷰어가 스캐너/염색 아티팩트로 가장 공격하기 쉬운 두 헤드라인 결과가 바로 site-교란 플래그를 달고 있으면서 아직 염색 검증이 안 된 축들이며, 이를 그대로 명시한다. H&E로부터의 site 예측성과 leave-one-site-out 성능이 교란 문제의 최종 판정을 하며, 그때까지 두 앵커를 해석하는 곳마다 이 한계를 명시한다. <!-- src: site_audit_results.json; experiments/kkkim/20260819_stain_norm_robustness/ (BRCA anchor only); GPU return / raw loss noted in RESUME.md -->
**Site/batch 교란과 염색 변이 한계 — "정말 형태인가?"라는 두 공격을 함께.** site-disjoint 분할은 동일 기관 슬라이드가 학습과 평가에 함께 들어가는 leakage를 방지했지만, 라벨과 기관의 결합(confounding)은 남아 있어 성능을 순수 형태 신호로 해석하는 데 한계가 있다. site/batch 교란 감사는 site-disjoint 분할이 라벨을 조직원천기관과 교란함을 다섯 개 endpoint에서 확인하였다 — 폐 조직형(양성대조) V = 1.000으로 형태와 site 서명이 분리 불가하고, 두경부 HPV V = 0.397, 위 Lauren은 유병률이 0.46에서 0.88로 이동하며, 폐 EGFR·KRAS도 site-label 연관이 유의하다. 이는 교란의 필요조건이지 "모델이 site를 읽는다"의 증명이 아니다. 별개로, H&E 염색 정규화는 주 파이프라인에 적용하지 않았다. 염색 정규화 견고성 점검은 유방 앵커 패턴(HER2 우연 수준, ER 높음, PAM50 보존)을 보존했지만, **이 점검은 유방 앵커에만 해당한다** — 다암종 헤드라인 축(두경부 HPV, 폐 조직형)은 raw 슬라이드가 소실되어 재추출이 보류돼 재점검하지 못하였다. 즉 리뷰어가 스캐너/염색 아티팩트로 가장 공격하기 쉬운 두 헤드라인 결과가 바로 site-교란 플래그를 달고 있으면서 아직 염색 검증이 안 된 축들이며, 이를 그대로 명시한다. H&E로부터의 site 예측성과 leave-one-site-out 성능이 교란 문제의 최종 판정을 하며, 그때까지 두 앵커를 해석하는 곳마다 이 한계를 명시한다. <!-- src: site_audit_results.json; experiments/kkkim/20260819_stain_norm_robustness/ (BRCA anchor only); GPU return / raw loss noted in RESUME.md -->

모델 비의존성에 대해서는, 폐 endpoint 간 상대적 AUROC 순서(조직형 > EGFR > KRAS)와 주요 음성 결과가 평가한 세 파운데이션 모델 전반에서 보존되었으나, 개별 분자 축의 우연배제 통과 여부는 모델에 따라 달랐다. 이는 순서 안정성이지 법칙 전체의 모델 비의존성이 아니다 — 헤드라인 단일 endpoint 확증(HPV, 대장 BRAF)은 각각 세 모델 중 둘에서만 우연배제를 통과했다. 20-seed 재점검은 Virchow2 HPV 임계가 안정화(≈0.837)되어 그 칸이 통과로 뒤집힐 것임을 시사했으나, **이 판정 변경은 채택하지 않는다** — braveji의 Critic 확인 대기 중이며(BIOP02-123) 보고 상태는 "3개 중 2개 모델"로 유지한다. <!-- src: 04_discussion.md item 6; experiments/kkkim/20260820_shuffle_null_20seed/ -->

Expand Down
Loading
Loading