Skip to content

feat: add immutable data intake and scoped research admission - #37

Merged
PureSaber merged 4 commits into
mainfrom
codex/research-data-admission
Oct 10, 2026
Merged

PureSaber merged 4 commits into
mainfrom
codex/research-data-admission

Conversation

@PureSaber

@PureSaber PureSaber commented Oct 10, 2026 •

Copy link
Copy Markdown
Owner

外部研究数据需要先确认原始格式与语义,再决定能否用于指定研究。本PR增加独立、可冻结的数据接入与读取模块:保存原件和失败回执,按显式契约规范化,生成完整质量报告与不可变版本,最后按用途和范围准入。

  • CSV/TSV/Parquet支持显式编码、分隔符、字段、类型、日期格式、单位、时区、复权与历史可得性声明;不静默填补、去重、猜测或改写原件。
  • 在pandas自动改名/推断索引前检查原始表头与完整字段宽度;拒绝重复/空表头和错位行。样例预览明确不构成全量质量通过。
  • 严格日线用途核验规范类型与实际scope内自然键;历史财务用途要求真实可用时间字段及声明。空研究数据阻断发布指针推进,失败刷新保留旧版。
  • 提供inspect/import/list/show/check/read/diff及自包含快照verify/check/read接口。读取先验证原件、契约、报告和规范文件的身份,再核验用途/scope;截断、行数上限与未获市场认证状态明确返回。
  • 模块可由指定独立Python按文件路径执行;冻结快照读取不要求Notebook安装QDK包。

验证:同步最新主线后完整测试894通过、2跳过;纯分支覆盖率4804/5934=80.96%,达到80%门禁;ruff格式/检查和diff检查通过。独立复核确认旧research_intake源码、文档、测试未变,主线衍生品模块未改,qdk-research-intake与qdk-derivatives入口并存,联合31项测试通过。此前独立重做重复表头、字段错位、日期类型绕过、缺省主键冲突与空刷新五个负例,均已关闭。Studio真实浏览器导入与独立Notebook快照执行通过。未操作既有数据目录、服务或冻结环境。

契约与命令见docs/RESEARCH_INTAKE.md。质量规则只验证声明、内容和用途边界,不证明供应商PIT声明真实性、许可或市场完整性。

@PureSaber
PureSaber marked this pull request as ready for review October 10, 2026 23:33
@PureSaber
PureSaber merged commit 2e1596e into main Oct 10, 2026
6 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant