eval: calibrate anchored graph fusion - #18
Merged
Conversation
graph normalization、bottom-centered RRF、新規D1 development/holdout、個別case gateを結果観測前に凍結する。
凍結済み仕様に対するdevelopment実行結果を記録する。候補はゲートを通過せず、現行設定を維持してholdoutは未開封とする。
lipluscodex
commented
Aug 2, 2026
lipluscodex
left a comment
Member
Author
There was a problem hiding this comment.
親エージェントの構造レビューを完了しました。
今回の判断
ブロッカーなし。結果前freezeと停止規則を守った融合較正実験として承認します。
今回確認した事項
- Issue #17の要求、PR diff、CI結果を独立照合
- freeze commit f801264 にdevelopment/holdout resultが存在しない
- result commit 9c107ad では固定済みsrc、manifest、fixture、gold、provenance、contamination auditが不変
- 開発結果を独立再生成し、保存済みJSONとSHA-256が完全一致
- 候補ゼロ時のholdout実行はexit 1で拒否され、holdout resultも未生成
- 59 tests pass、CI success、worktree clean、diff check clean
- 過去7 fixture / 50 unique pathsと新split間のcontamination auditが全項目空
- defaultはmax normalization + linear fusionのまま
- max / none / l1_mass、linear / bottom-centered RRFの式をtraceから再計算可能
- raw activationが0のnodeはgraph rankなし、RRF graph component 0
- cohort平均だけでなくdirect / negative各caseのrank非退行をgateで要求
結果
- current: D 1.0000 / R 0.4167 / N 1.0000
- anchored-local-unscaled: 0.7500 / 0.6667 / 0.7500
- anchored-linear-conservative: 1.0000 / 0.4167 / 1.0000
- anchored-linear-mass: 1.0000 / 0.4167 / 1.0000
- anchored-rrf-conservative: 1.0000 / 0.4167 / 1.0000
- anchored-rrf-balanced: 0.7500 / 0.6667 / 0.7500
後続課題
グローバルなweight、normalization、rank fusionだけでは、relation改善とcontrol保護の間に採用可能な点を作れませんでした。次はentry ambiguityや複数edgeの一致など、queryごとの構造的根拠でgraph contributionを発火させる条件付き方式を、別の固定実験として扱うのが妥当です。
受容する制約
新splitは各3 node / 2 edgeでrank粒度が粗いです。今回は反証テストとして、候補なし、holdout未開封、default変更なしを受容します。
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Closes #17
graph normalization と bottom-centered RRF を追加し、凍結済みの6構成を再計算可能なトレース付きで評価しました。
development ではゲート通過候補がなく、現行設定を維持して holdout は未開封です。59テストと demo/eval を通過しています。