regression-gate.sh：baseline language 欄位未驗證即入 worklist TSV（follow-up from #109 verify）

[kiki830621]

Problem

Verify #109 的 security lens 發現（MEDIUM，inherited）：scripts/regression-gate.sh 的 worklist 生成對 baseline.json 的 corpus 欄位有 charset 白名單，但 language 欄位未驗證，兩者寫進同一份 TSV 由 shell 逐行 split——language 含 可偽造一筆 corpus 欄位未經驗證的 worklist 記錄（PoC 曾以 corpora/../ 相對路徑逃出 $DEST）。

邊界：影響僅本機（gate 不提交任何東西；SubmissionPackager 另有 canonicality 過濾）、且 baseline.json 是 repo 內受版控的檔案——實際威脅需 PR 混入惡意 baseline。屬 defense-in-depth 補洞。

（#109 的 release-sweep.sh 原版有同款結構，round-1 fix 改為目錄掃描 worklist 後已不再讀 baseline.json；本 issue 只剩 gate 一處。）

Type

bug

Expected

regression-gate.sh 的 worklist python 段對 language 加與 corpus 同款的 re.fullmatch 白名單（如 [a-z]{2,3}(-[A-Za-z0-9]+)?），不符即 fail-loud。

Impact

單檔小修 + gate 既有測試路徑。

Source: surfaced during /idd-verify #109 follow-up triage (Step 5b)；security lens MEDIUM-1（empirically reproduced in sandbox）。

Current Status

• Phase: closed
• Complexity: Simple
• Last update: 2026-07-30

[kiki830621]

Diagnosis

Type

bug

Root Cause / Analysis

我認為 root cause 是 worklist 生成的驗證不對稱，因為 scripts/regression-gate.sh:48-54 對 corpus 有三重防護（re.fullmatch(r"[A-Za-z0-9._-]+") 白名單 + leading-dot 拒絕 + dedup），但同一行 print(f"{corpus}\t{e['language']}") 把 language 未經任何驗證寫進 worklist.tsv；下游 L141 while IFS=$'\t' read -r corpus language 是行導向解析——language 含 \n 即偽造一筆 corpus 欄位未經白名單的記錄（#109 verify security lens 已以 corpora/../ PoC 實證逃出 $DEST）。

結構性觀點：TSV 是行分隔格式，任何允許含 \n/\t 的欄位都破壞 record integrity——這不只是缺一個 regex，是「進 TSV 的每個欄位都必須有 charset 保證」的紀律缺口。

Evidence（現行 code）：

• L49-53：corpus 三重驗證
• L54：language 裸寫入 TSV
• L141：行導向 read split（注入點）
• L153：--language "$language" 另直接進 CLI arg（白名單同時收斂此面）

威脅邊界（inherited from issue body）：baseline.json 受版控、gate 純本機不提交任何東西——實際攻擊需惡意 PR 混入，屬 defense-in-depth 補洞。

Impact

• 影響的檔案：scripts/regression-gate.sh（單檔）
• 影響的使用者流程：release 前的 regression gate（維護者本機執行）

Strategy

• worklist python 段對 language 加 re.fullmatch(r"[a-z]{2,3}(-[A-Za-z0-9]+)?", language) 白名單，不符即 sys.exit fail-loud（訊息格式與 corpus 檢查同款）
• 正向實測：現行 benchmarks/baseline.json（12 entries，language ∈ {en, ja, zh}，已預先驗證全數 PASS 提案 regex）worklist 段照常通過
• 負向實測：構造含 \n 注入的惡意 baseline fixture（tmp 目錄，不入 repo），驗證 fail-loud exit 非零

（scripts/ 無既有 test 框架——驗證採 manual 實測，與 #109 smoke test 同慣例。）

Conflict Class

A_parallel_safe — 單檔 scripts/regression-gate.sh 編輯，無共享 mutable 資源。

Complexity

Simple

Bug fix with clear root cause + self-contained 單檔修。Layer 2（無 published API surface）未命中；Layer P（無順序依賴、單一合理 approach、gate 是本機唯讀工具非 risk-sensitive 邊界）未命中 → Simple default。

Hard-gate: not triggered — 估計僅觸及 scripts/regression-gate.sh 單檔（worklist heredoc python 段），無 shared abstraction。

Risks

• 白名單過窄誤殺未來合法 language tag（如 zh-TW）——提案 regex 已涵蓋 region subtag；現行 12 entries 全 PASS，風險低。
• 若未來 gate 的 TSV 增加新欄位，需沿用同款白名單紀律——本修不設通用機制（單點修，見 Residue）。

Residue

「進 TSV 的每個欄位都必須有 charset 保證」作為通用紀律無法在本 issue operationalize（本修只覆蓋 language 單欄位；未來新欄位靠 review 紀律把關，不設 lint/機制）。誠實標記。

Vagueness Pre-check

• V1: 1 — deliverable 為單一句可執行描述（對 language 加同款 fullmatch 白名單），無詮釋分歧
• V4: 1 — Expected 給出確切 regex 與 fail-loud 準則，完成定義明確
• Triggered: no — both axes ≤ 3
  [Layer V: V1=1 V4=1, evaluated under unattended mode（idd-all）, no trigger]

Sister Concerns Filed (mid-diagnose, v2.47.0+ #528)

(none filed) — 已檢視同檔另一 TSV 寫入點 model-digests.tsv（L83）：欄位來自本機 model 目錄 ls/shasum 輸出，非 baseline.json 輸入面，威脅模型不同（本機檔案 ≠ 版控輸入），判定非 sister concern，不 file。

[kiki830621]

Implementation Plan

• scripts/regression-gate.sh — worklist python 段（L48-54 區）對 language 加 re.fullmatch(r"[a-z]{2,3}(-[A-Za-z0-9]+)?", language) 白名單，不符即 sys.exit fail-loud（訊息格式與 corpus 檢查同款：✗ gate error: unsafe language in baseline: {language!r}）
• 負向實測（RED→GREEN 證據）：tmp 構造含 \n 注入的惡意 baseline fixture，修復前重現注入（worklist 出現偽造 row）、修復後 fail-loud exit 非零
• 正向實測：現行 benchmarks/baseline.json（12 entries，en/ja/zh）worklist 段照常通過、輸出 12 行不變

（scripts/ 無 test 框架——驗證為 manual 實測記錄於 Implementation Complete，與 #109 慣例一致。）

[kiki830621]

Implementation Complete

Checklist (synced from TaskList)

• scripts/regression-gate.sh — worklist python 段對 language 加 re.fullmatch(r"[a-z]{2,3}(-[A-Za-z0-9]+)?", language) 白名單 + fail-loud → commit e80f3de
• 負向實測（RED→GREEN 證據）：注入 fixture 修復前重現、修復後 fail-loud exit 非零
• 正向實測：現行 baseline.json 12 entries worklist 照常輸出 12 行不變

Legend: - [x] done · - [~] skipped · - [-] won't fix

Changes

• e80f3de: fix — validate baseline language field before worklist TSV

Verification (implementer-level)

TDD harness 抽出 gate 真實的 worklist heredoc（非 copy）對 fixture 執行：

• RED（unpatched）：2/4 失敗 — malicious fixture 讓 corpora/../evil 偽造 row 混入且 exit 0（注入成立，複現 measureASR：release 全矩陣 deterministic sweep（pin 版本下每個模型的表現快照） #109 security lens PoC）
• GREEN（patched）：4/4 通過 — malicious fail-loud exit 非零、無偽造 row；benign 現行 baseline 輸出 12 行不變
• bash -n scripts/regression-gate.sh 語法通過

Files Changed

 scripts/regression-gate.sh | 8 +++++++-

Scope Compliance

無超出範圍改動。單檔單點修（worklist heredoc 加一段 language 白名單）。

Sister Bugs Filed (mid-impl, v2.44.0+ #526)

(none surfaced) — TDD 期間檢視同檔另一 TSV 寫入點 model-digests.tsv（L83+）：欄位源自本機 model 目錄 ls/shasum 輸出，非 baseline.json 版控輸入面，威脅模型不同，非 sister bug。diagnose 階段已在 Sister Concerns 段記錄同一判定。

Next: verification pending

[kiki830621]

Verify (via PR #114)

Result: PASS — #112 stated scope（language 欄位 TSV injection 白名單）verifiably complete，0 blocking。
Full report: #114 (comment)

3 個 follow-up 已 file：#115（model 欄位 path traversal, MEDIUM）、#116（worklist 無 test 覆蓋, MEDIUM）、#117（baseline-compare.py CI-log injection, LOW）。Codex 跨模型 leg 本輪因 429 缺席（fail-closed INFO）。

⚠️ close note 需限縮 scope 為「language 欄位 TSV injection 已堵」，不得宣稱 baseline.json injection 全堵（見 #115/#117）。

[kiki830621]

Closing Summary

Problem

scripts/regression-gate.sh 的 worklist 生成對 baseline.json 的 corpus 欄位有三重防護（re.fullmatch(r"[A-Za-z0-9._-]+") 白名單 + leading-dot 拒絕 + dedup），但同一行把 language 裸寫入同一份 line-oriented TSV。下游 while IFS=$'\t' read -r corpus language 是行導向解析——language 含 \n 即可偽造一筆記錄，而該偽造 row 的 corpus 欄位繞過了上面所有檢查。#109 verify 的 security lens 已以 corpora/../ PoC 實證逃出 $DEST。

Root Cause

驗證不對稱：TSV 是行分隔格式，任何允許含 \n/\t 的欄位都破壞 record integrity——但只有 corpus 被當成「會流進路徑所以要檢查」，language 被當成無害的資料。實際上 language 同樣流進兩個危險面：TSV 的 record 邊界（L141 行導向 read）與 CLI arg（L153 --language "$language"）。

Solution

language 加上與 corpus 同款的 re.fullmatch(r"[a-z]{2,3}(-[A-Za-z0-9]+)?") 白名單，不符即 sys.exit fail-loud，且檢查位置在 print 之前——偽造 row 連寫出的機會都沒有。附帶收斂了 CLI arg 面（值不可能以 - 開頭，--language 不會被讀成另一個 flag）。

Verification

TDD，harness 從 regression-gate.sh 抽出真實的 worklist heredoc 執行（測 source 本身，不是複本）：

• RED（未修補）：惡意 fixture 讓 corpora/../evil 偽造 row 混入且 exit 0 — 注入成立，複現 measureASR：release 全矩陣 deterministic sweep（pin 版本下每個模型的表現快照） #109 的 PoC
• GREEN（修補後）：4/4 通過 — 惡意 fixture fail-loud exit 非零、無偽造 row；現行 baseline.json 12 entries 照常輸出 12 行不變
• bash -n 語法通過

6-AI ensemble verify（4 lens + sequenced DA，opus）PASS，0 blocking。獨立佐證：

• security lens 窮舉全 1,114,112 個 Unicode codepoint，確認無任何非 [A-Za-z0-9-] 字元能通過 fullmatch
• logic lens 證實 re.fullmatch 無 trailing-newline leniency（不同於 re.match(pat+"$")：'en\n' 在 $ 形式下為 True、fullmatch 為 False）——修復「因正確的結構性理由而正確」，非僥倖
• regression lens 實測 pre/post-fix worklist sha256 相同（e3f18b26…），下游看到的 bytes 未變
• DA 把惡意 entry 放第 3 筆（不是第 1 筆）跑真實腳本：exit 1、stdout 空、benchmark subprocess 從未啟動

誠實邊界：驗證形式是手動 e2e + dry-run，未新增自動化 regression test（scripts/ 無 test 框架）。release-sweep.sh 有 code 層 fail-loud（set -euo pipefail、unknown-arg exit 2），但沒有 CI 會擋住未來的迴歸——此缺口已 file 為 #116。

Codex 跨模型 leg 本輪缺席（HTTP 429 usage_limit_reached，ChatGPT Pro plan），記為 fail-closed INFO，不當 PASS 計。本次為 5 個 Claude reviewer 的單模型家族 ensemble。

Changes

• 65c0f64（PR regression-gate.sh：baseline language 欄位未驗證即入 worklist TSV（follow-up from #109 verify） #114，squash of e80f3de）— scripts/regression-gate.sh：language 白名單 + fail-loud
• f44f4f4 — CHANGELOG 補條目（close 時 doc-sync 發現缺漏）

Merge-completeness

Step 1.55 gate rc=0（clean，無 orphan）。交叉確認：git diff e80f3de origin/main 的差異恰好是 #111 的 7 個檔案（在本 branch 之後才落地），即本 branch 的內容全數在 main。

Residue Acknowledgement

Acknowledged as still residue：

「進 TSV 的每個欄位都必須有 charset 保證」作為通用紀律無法在本 issue operationalize（本修只覆蓋 language 單欄位；未來新欄位靠 review 紀律把關，不設 lint/機制）。

這是刻意的範圍限制，不是可修的缺口。不過 verify 後續發現這條紀律的兩個 live instance 確實存在，已各自 file：model 欄位（#115，進 path sink）、metric 欄位（#117，進 CI stdout）。

Doc-sync 檢查

2 files checked（README.md、CLAUDE.md）——皆未因本 issue 過時。額外發現：CHANGELOG.md 有 [Unreleased] 段且 #109 已建立條目慣例，本 issue 缺條目 → 已於 f44f4f4 補上（Fixed 段）。

Distribution Sync

• Detected: plugin（marketplace host，plugin bestasr v0.16.0 @ ./plugins/bestasr，wrapper 下載 released binary）
• Choice: not applicable
• Outcome: 改動在 scripts/regression-gate.sh——maintainer 的 release 把關工具，不在 plugins/bestasr/ 底下、不隨 plugin 分發給終端使用者。plugin 版本無需 bump。

Follow-ups（本 issue 的 verify 期間 spawn，已各自 file）

• regression-gate.sh：model 欄位未驗證即進 path sink（cd $MODEL_DIR）+ CLI arg（sister of #112） #115 — model 欄位未驗證即進 path sink（cd "$MODEL_DIR"）+ CLI arg。3 個獨立 reviewer 各自 live 重現 ../../../ traversal 逃出 cache root（MEDIUM）
• regression-gate.sh worklist 階段無 test 覆蓋（heredoc refactor 可能靜默掉白名單） #116 — worklist 階段無 test 覆蓋（未來 heredoc refactor 可能靜默掉白名單）
• baseline-compare.py：metric/language 欄位未跳脫即印 CI stdout（CR+ANSI log-spoofing） #117 — baseline-compare.py 的 metric 欄位未跳脫即印 CI stdout，可從 committed baseline 偽造綠色「全過」（LOW，log-spoofing）

誠實的範圍聲明

本 issue 關閉的是 language 欄位的 TSV injection。不宣稱 baseline.json 的注入面已全數關閉——model（#115）與 metric（#117）是同一 residual class 的兩個 live instance，尚未修復。此聲明依 verify 階段 Devil's Advocate 的明確要求寫入。