Skip to content

docs: 全掃引を3曲目で測り直す — 判断は動かず、理由が変わった - #26

Merged
ijuinryukichi merged 1 commit into
mainfrom
docs/three-track-sweeps
Jul 27, 2026
Merged

ijuinryukichi merged 1 commit into
mainfrom
docs/three-track-sweeps

Conversation

@ijuinryukichi

Copy link
Copy Markdown
Owner

Known limits の冒頭にあった但し書き:

The sweeps quoted below were run on the first two tracks, before the third had a ground truth. They have not been re-run on it, so read "both tracks" in them literally.

測り直したので差し替える。再現ハーネス側の対応は toryu-web #473(exp_*.py が 2 曲固定だったのを tracks.py に括り出して 3 曲体制にした)。

結果 — 8 案中 7 案が 3 曲目で完全に不活性

掃引した全ての値で shipped とビット単位に同じ配置になる。λ = 1.2(1 曲目を 19/20 → 1/20 に崩壊させる強さ)でも 3 曲目は 1 行も動かない。

理由は 3 曲目に直すべき誤配置が無いこと(worst 0.81 s / 外れ値 0)で、7 案は全部 repair 機構なので発火する対象が存在しない。

これで不採用の理由が変わる。 2 曲では「ここで得た分をあちらで払う trade」に見え、どちらを重く見るかが読み手の裁量に落ちていた。trade ではなかった — upside は既に壊れている曲にしか無く、downside(greedy の idx が全ての決定を隣に運ぶ)は全曲に掛かる。

8 案目の語頭スナップだけが不活性でなく、3 曲目でも悪化(0.35 → 0.48 s / ≤0.5 s 29/38 → 20/38)= 3 曲中 3 曲で悪化。

変更点

  • Known limits 冒頭 — 但し書きを実測結果に差し替え

  • 4 案の表に虎徹列(全行 identical)。断言でなく表で見えるようにした

  • 可変 pairing の details に、3 曲目 large-v3 で唯一「採用に見えた」構成とその正体を追加:

    3 曲目, large-v3 採点行 mean |err| worst 外れ値を除く本体
    shipped 27/38 1.35 s 29.0 s 0.290 s
    downward deviation, k ≤ 2 27/38 0.28 s 0.7 s 0.284 s

    mean は 4.8 倍良いが本体は 0.006 s しか動いていない(その曲の GT 分解能の 30 分の 1)。29 s ずれた 1 行が honest miss に落ち、別の 1 行が miss から +0.12 s で戻っただけ。誤答を「わからない」に替えるのはこのツールが望む挙動だが精度改善ではなく、しかも medium では固定と完全に同一。上では無採点の半分がコストを隠し、ここでは採点母集団が縮んで利得を作った。

  • auto pairing の表に虎徹 2 行。large-v3 は各曲の auto pairing で 3 曲中 2 曲が悪化(虎徹は large-v3 の方がセグメントが少ない: 32 < 36)。model upgrade は曲ごとに測るもので、既定で手を伸ばすものではない、と明記

  • 3 曲目の位置づけを訂正。「裁定するために足した」→「足した。裁定はせず棄権した。そちらの方が有用な答えだった」

数字はすべて scratchpad/lyrics_align_bench の JSON が正本。

Known limits 冒頭の「3 曲目では測り直していない、"both tracks" は文字通り
その 2 曲」という但し書きを、実測結果に差し替える。

8 案のうち 7 案が 3 曲目で**ビット単位に不活性**(掃引した全値で shipped と
同一の配置)。λ=1.2 は 1 曲目を 19/20→1/20 に崩壊させる強さだが、3 曲目は
1 行も動かない。3 曲目に直すべき誤配置が無いから(worst 0.81s / 外れ値 0)で、
7 案は全部 repair 機構だから発火しようがない。

これで不採用の理由が変わる。2 曲では「ここで得た分をあちらで払う trade」に
見え、どちらを重く見るかが読み手の裁量に落ちていた。trade ではない。
upside は既に壊れている曲にしか無く、downside(greedy の idx が全ての決定を
隣に運ぶ)は全曲に掛かる。

8 案目の語頭スナップだけが不活性でなく、3 曲目でも悪化(0.35→0.48s /
≤0.5s 29/38→20/38)=3 曲中 3 曲で悪化。

## 他の変更

- 4 案の表に虎徹列を追加(全行 *identical*)。断言でなく表で見えるようにする
- 可変 pairing の details に、3 曲目 large-v3 の「採用に見えるが母集団の
  すり替え」を追加。mean 1.35→0.28 だが外れ値を除いた本体は 0.290→0.284
  = GT 分解能の 30 分の 1。上では無採点の半分がコストを隠し、ここでは
  採点母集団が縮んで利得を作った
- auto pairing の表に虎徹 2 行を追加。large-v3 は各曲の auto で 3 曲中 2 曲が
  悪化(虎徹は large-v3 の方がセグメントが少ない: 32 < 36)
- 3 曲目の位置づけを「裁定する」から「棄権した、そちらの方が有用だった」に訂正
@ijuinryukichi
ijuinryukichi merged commit 50aefb4 into main Jul 27, 2026
3 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant