Skip to content

eval: calibrate anchored graph fusion - #18

Merged
lipluscodex merged 2 commits into
mainfrom
17-calibrate-anchored-graph-fusion
Aug 2, 2026
Merged

eval: calibrate anchored graph fusion#18
lipluscodex merged 2 commits into
mainfrom
17-calibrate-anchored-graph-fusion

Conversation

@lipluscodex

Copy link
Copy Markdown
Member

Closes #17

graph normalization と bottom-centered RRF を追加し、凍結済みの6構成を再計算可能なトレース付きで評価しました。
development ではゲート通過候補がなく、現行設定を維持して holdout は未開封です。59テストと demo/eval を通過しています。

graph normalization、bottom-centered RRF、新規D1 development/holdout、個別case gateを結果観測前に凍結する。
凍結済み仕様に対するdevelopment実行結果を記録する。候補はゲートを通過せず、現行設定を維持してholdoutは未開封とする。
@lipluscodex lipluscodex linked an issue Aug 2, 2026 that may be closed by this pull request
@lipluscodex lipluscodex self-assigned this Aug 2, 2026

@lipluscodex lipluscodex left a comment

Copy link
Copy Markdown
Member Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

親エージェントの構造レビューを完了しました。

今回の判断

ブロッカーなし。結果前freezeと停止規則を守った融合較正実験として承認します。

今回確認した事項

  • Issue #17の要求、PR diff、CI結果を独立照合
  • freeze commit f801264 にdevelopment/holdout resultが存在しない
  • result commit 9c107ad では固定済みsrc、manifest、fixture、gold、provenance、contamination auditが不変
  • 開発結果を独立再生成し、保存済みJSONとSHA-256が完全一致
  • 候補ゼロ時のholdout実行はexit 1で拒否され、holdout resultも未生成
  • 59 tests pass、CI success、worktree clean、diff check clean
  • 過去7 fixture / 50 unique pathsと新split間のcontamination auditが全項目空
  • defaultはmax normalization + linear fusionのまま
  • max / none / l1_mass、linear / bottom-centered RRFの式をtraceから再計算可能
  • raw activationが0のnodeはgraph rankなし、RRF graph component 0
  • cohort平均だけでなくdirect / negative各caseのrank非退行をgateで要求

結果

  • current: D 1.0000 / R 0.4167 / N 1.0000
  • anchored-local-unscaled: 0.7500 / 0.6667 / 0.7500
  • anchored-linear-conservative: 1.0000 / 0.4167 / 1.0000
  • anchored-linear-mass: 1.0000 / 0.4167 / 1.0000
  • anchored-rrf-conservative: 1.0000 / 0.4167 / 1.0000
  • anchored-rrf-balanced: 0.7500 / 0.6667 / 0.7500

後続課題

グローバルなweight、normalization、rank fusionだけでは、relation改善とcontrol保護の間に採用可能な点を作れませんでした。次はentry ambiguityや複数edgeの一致など、queryごとの構造的根拠でgraph contributionを発火させる条件付き方式を、別の固定実験として扱うのが妥当です。

受容する制約

新splitは各3 node / 2 edgeでrank粒度が粗いです。今回は反証テストとして、候補なし、holdout未開封、default変更なしを受容します。

@lipluscodex
lipluscodex merged commit 91d910b into main Aug 2, 2026
1 check passed
@lipluscodex
lipluscodex deleted the 17-calibrate-anchored-graph-fusion branch August 2, 2026 02:12
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

eval: calibrate anchored graph fusion

1 participant