[algo] 策略头换 ranking-aware(Plackett-Luce / perturbed top-k)

[yupoet]

背景

src/aurumq_rl/policy.py 用 3014 维对角高斯输出分数。log_prob 累加 ~3000 个 per-dim 项,PPO ratio exp(Σδ) 几乎立即饱和 clip(所以现在需要 target_kl=0.2)。而环境只消费排序。

提议

• 主方案:Plackett-Luce / perturbed-top-k 策略,直接对 top-k 选择建模,信用分配方差远低。
• 过渡方案(低成本):更小的 log_std 初始化 + gSDE(state-dependent exploration)。

为什么重要

当前策略梯度对 top-k 选股任务是高方差、易饱和的;ranking-aware 头把学习信号对齐到实际决策。

验收

• 新策略头 + 单测(log_prob 数值、梯度不饱和)
• 与现高斯头 A/B(相同 universe/窗口),报告 PPO clip 触发率与 OOS 指标

Paradigm:RL 策略架构(§四 A2)。

---

来源:2026-07-02 全仓库代码审查报告 reports/code_review_full_repo_2026-07-02.md 第四节(更好的算法),随 PR #1 拆出。这些是升级项,非正确性缺陷(Critical/Major 已在 PR #1 修复)。
🤖 Filed with Claude Code