Skip to content

eval: compare neural dynamics on frozen holdout - #12

Merged
lipluscodex merged 2 commits into
mainfrom
11-neural-dynamics-experiments
Aug 1, 2026
Merged

eval: compare neural dynamics on frozen holdout#12
lipluscodex merged 2 commits into
mainfrom
11-neural-dynamics-experiments

Conversation

@lipluscodex

Copy link
Copy Markdown
Member

Closes #11

結果観測前に固定した development / holdout と13 variantsを再現可能に比較し、全候補、diagnostics、Pareto選択を保存します。
holdoutを一度だけ開封した結果、選択候補はrelation退行で不採用とし、既定strategyを変更せず全tradeoffを記録します。

Issue #11 の development / holdout 分離、13 variants、選択規則、停止規則、正規 D1 holdout と実行系を、variant result 観測前に固定する。
Issue #11 の全13 variants、development 選択、単一 holdout 開封、不採用判定を固定 artifact と文書へ保存する。holdout の relation 退行により既定は current のまま維持する。
@lipluscodex lipluscodex linked an issue Aug 1, 2026 that may be closed by this pull request
@lipluscodex lipluscodex self-assigned this Aug 1, 2026

@lipluscodex lipluscodex left a comment

Copy link
Copy Markdown
Member Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

自己レビュー: PASS(ブロッカーなし)

受入確認:

  • protocol freeze commit 4f240dd に manifest、13 variants、development/holdout 分離、選択規則、停止規則、D1 holdout/gold/provenance、実行系とテストが入り、result JSON は未存在だったことを確認。
  • freeze から head まで manifest、holdout fixture、gold、provenance は不変。結果コミットの limit 参照修正は凍結値 12 と9-node fixtureのため観測値に影響せず、head からの再生成で development/holdout JSON がともにバイト一致。
  • development では5候補が gate 通過し、固定 tie-break で budget-025 を選択。全13 variants と失敗/tradeoff を保存。
  • holdout は current と選択候補のみを一度評価。relation MRR 0.3611 -> 0.3254 の退行により固定 stop rule で不採用。
  • EngineConfig.activation_strategy の既定は current_positive_additive のまま。path 3/3、feedback isolation、D1 zero-write provenance を確認。
  • ローカル 34 tests PASS、GitHub CI SUCCESS、worktree clean。

判定区分:

  • 今回: マージ可。実験の陰性結果を含め、Issue #11 の検証目的を満たす。
  • 残存リスク: fixture は固定 Li+ wiki subset と feature-hashing encoder に限定され、一般 corpus や別 graph topology への一般化は未確認。
  • 受容したトレードオフ: development winner は未見 holdout に一般化しなかったため、既定実装を変えず、失敗結果を再利用可能な artifact として残す。

@lipluscodex
lipluscodex merged commit cb38aa1 into main Aug 1, 2026
1 check passed
@lipluscodex
lipluscodex deleted the 11-neural-dynamics-experiments branch August 1, 2026 14:50
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

eval: prevent graph propagation from degrading negative controls

1 participant