Skip to content

eval: validate local recurrent competition - #14

Merged
lipluscodex merged 2 commits into
mainfrom
13-local-recurrent-competition
Aug 1, 2026
Merged

eval: validate local recurrent competition#14
lipluscodex merged 2 commits into
mainfrom
13-local-recurrent-competition

Conversation

@lipluscodex

Copy link
Copy Markdown
Member

Closes #13

production D1由来の相互非重複development/holdout、provenance、contamination audit、6 variantsと二baseline gateを観測前に固定し、局所neighbor/query/path recurrent strategyを実装しました。
freeze後のdevelopmentでは候補gate通過が0件だったためholdoutを開かず、全tradeoffとdefault維持をversioned resultと文書へ保存します。

production D1由来の新規development/holdout、provenance、contamination audit、gold、6 variantsと二baseline gateを観測前に固定する。局所neighbor/query/path recurrent strategy、diagnostics、tests、requirements、実験手順を同じfreezeへ含める。
freeze後にdevelopmentを一度実行し、全6 variantsと固定gate判定を保存する。候補は0件だったためholdoutを開かず、default維持とtradeoffを文書化する。
@lipluscodex lipluscodex linked an issue Aug 1, 2026 that may be closed by this pull request
@lipluscodex lipluscodex self-assigned this Aug 1, 2026

@lipluscodex lipluscodex left a comment

Copy link
Copy Markdown
Member Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

自己レビュー: PASS(ブロッカーなし)

受入確認:

  • freeze commit 3562c0f にproduction D1由来の新development/holdout、balanced gold、zero-write provenance、contamination audit、6 variants、二baseline gate、実装、tests、requirementsを固定し、result artifactが存在しないことを確認。
  • freezeからhead 9cc2b37 までcore code、fixture、gold、manifest、provenance、audit tool、requirementsは不変。
  • development resultを独立再生成し、保存JSONとbyte一致。
  • candidate gate通過は0件、selectionはcurrent。holdout runnerは固定stop ruleで拒否し、holdout resultを生成しないことを確認。
  • 6 variantsすべてでrelation path 3/3とfeedback isolationは成立。local neighbor/pathはrelation MRRを0.5278へ改善したがdirect/negativeが退行し、query追加はcontrol側を回復させる一方relation改善が縮小したため、固定gate不合格は妥当。
  • default current_positive_additiveは不変。
  • ローカル42 tests PASS、GitHub CI SUCCESS、PR mergeable CLEAN。

判定区分:

  • 今回: マージ可。Issue #13の事前固定実験、陰性結果保存、holdout非開封条件を満たす。
  • 後続: 局所化だけではdirect signalを保持できなかったため、seed entry residualを競合外anchorとして保持する別の事前固定ablationが候補。今回のfreeze後に追加しない。
  • 受容したトレードオフ: candidate 0件のためholdoutを開かず、defaultを変更しない。未開封holdoutは将来の別プロトコルへ流用せず、Issue #13の凍結artifactとして保持する。

@lipluscodex
lipluscodex merged commit f45f8c9 into main Aug 1, 2026
1 check passed
@lipluscodex
lipluscodex deleted the 13-local-recurrent-competition branch August 1, 2026 20:40
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

eval: validate query and path conditioned local recurrent competition

1 participant