eval: test anchored BM25 graph hybrid retrieval

[lipluscodex]

概要

• entry retrievalを競合外のzero-hop anchorとして保持し、anchored graph signalからseed residualとzero-hop pathを除外
• dense retrieval / graph propagationを独立に無効化し、実処理を呼ばないBM25-only ablationを追加
• production D1からread-only取得した新development / holdout、provenance、過去39 doc pathsとのcontamination audit、6-variant manifestを凍結
• raw / normalized BM25・dense・graph score、競合前後anchor、path種別をtraceへ追加

固定実験結果

freeze commit 6400466 のpush後、developmentを一度だけ実行しました。

• current: direct 1.0000 / relation 0.5000 / negative 1.0000
• bm25-only: 1.0000 / 0.2917 / 1.0000
• bm25-graph-additive: 1.0000 / 0.5000 / 1.0000
• anchored-local: 0.4167 / 1.0000 / 0.7500
• anchored-local-query: 0.4167 / 1.0000 / 0.7500
• bm25-anchored-local: 0.5000 / 0.7500 / 0.7500

anchored 3 variantsはrelationを改善し、path / feedback / anchor invariant / edge-only graph signalを満たしましたが、directとnegative-controlが退行しました。固定gateの候補は0件です。停止規則に従いholdoutは未開封、既定はcurrent_positive_additiveのままです。

検証

• uv run python -m unittest discover -s tests -v（50件成功）
• uv run python -m neuron_graph_rag demo
• uv run python -m neuron_graph_rag eval
• contamination audit passed
• holdout result artifact absent

Closes #15

[lipluscodex]

親エージェントの独立レビューを完了しました。

今回の判断

ブロッカーなし。固定済みプロトコルに従った評価実装として承認します。

確認内容

• freeze commit 6400466785f984620874d76cb9c71bc1a7592f8d より前に入力・判定規則・実行コードを固定
• result commit 448af59b3963ca0c1c2c3de29805239bf798bbee で結果のみ追加され、固定対象の変更なし
• 開発結果を独立再生成し、保存済み JSON と SHA-256 が完全一致
• 候補ゼロのため holdout 実行は明示的に拒否され、holdout 結果ファイルも未生成
• 50 tests pass、CI success、worktree clean
• BM25-only は dense/graph を実際に呼ばず、BM25+graph は dense のみ無効化することをコードとテストで確認
• zero-hop entry residual は graph activation / graph path から分離され、anchor invariant と edge-only graph signal の診断が通過
• 新 fixture は既存4 fixture群および dev/holdout 間で path overlap なし

結果の解釈

• BM25-only は relation 0.2917、BM25+graph additive は 0.5000 まで回復し、グラフが BM25 の関係検索を補うことは確認できたが current を超えなかった
• anchored-local は relation 1.0000 まで伸びた一方、direct 0.4167 / negative 0.7500 に悪化
• anchor invariant は維持されたため、次の焦点は anchor 保持ではなく graph contribution と最終 fusion の較正

後続課題

新しい固定実験として、graph signal の重み・正規化・rank fusion を調整し、relation 改善を保ちながら direct/negative を守れるか検証するのが妥当です。

受容する制約

fixture は各5ノードの小規模検証です。今回は候補なし、holdout 未開封、既定動作変更なしという停止判断を受容します。