Skip to content

[algo] p3 head:线性/logistic probe + 小 MLP 对照 LightGBM #7

Description

@yupoet

背景

p3 的 Kronos embedding heads 用 LightGBM。GBDT 对稠密、分布式 transformer embedding 是弱归纳偏置(轴对齐分裂在单个维度上信号少)。

提议

  • 线性 / logistic probe:快、校准好,是 embedding 质量的诚实度量,也是更干净的 null-vs-base-vs-finetuned 对照。
  • 小 MLP head(2×512,dropout,per-date batch)。
  • 可选:LoRA 端到端微调 Kronos encoder 到 anchor 目标,替代冻结 embedding + 树。
  • 若保留树:拼接 344 因子面板,隔离 embedding 的增量价值。

验收

  • probe / MLP head 接入 v13 phase 3(与 LGB 同 CV 协议,见 purged-CV issue)
  • 报告 base-vs-finetuned 在 probe 下的 IC 差(修复 C9 后的正确对照)

Paradigm:横截面预测头(§四 A5)。


来源:2026-07-02 全仓库代码审查报告 reports/code_review_full_repo_2026-07-02.md 第四节(更好的算法),随 PR #1 拆出。这些是升级项,非正确性缺陷(Critical/Major 已在 PR #1 修复)。
🤖 Filed with Claude Code

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    algo-upgradeAlgorithm upgrade from the 2026-07-02 full-repo review (§四)enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions