LongMemEval-CN 500题中文子集｜识流公开结果

这是识流维护的 LongMemEval 500题中文翻译子集与逐题评测结果。500题结果快照版本为 2026.07.15；本存档修订版为 2026.07.18，仅完善许可、引用与跨平台存档元数据，results.jsonl 未改变。

该子集状态为 draft，不是 LongMemEval 官方发布的中文版本。源自 LongMemEval 的问题与参考答案继续遵循上游 MIT License；由识流新增且有权授权的中文译文、模型输出整理、评测结果、汇总数据与原创说明采用 CC BY 4.0。完整许可边界见 NOTICE.txt。

结果摘要

• 测试日期：2026-07-15
• 总题数：500
• 跳过：0
• 首轮通过：499/500（99.8%）
• 独立复判：唯一未通过题复判通过
• 复核后有效通过：500/500
• exact-match guard：298题
• DeepSeek deepseek-v4-flash 判分：202题

首轮记录与复判结果分列保存，没有用复判覆盖原始结果。完整口径、限制和字段说明见 METHOD.md 与 summary.json。

本修订版的 results.jsonl 与上一存档版本字节一致，SHA-256 仍为 1604a448eb3e58bf3d69009e710835d9822126ececa1c3052f6dc34ca0171fbe。

文件

文件	内容
results.jsonl	500题逐题问题、参考答案、识流答案、判分方式、首轮和复判状态
summary.json	版本、成绩、判分分层、来源哈希和公开声明
METHOD.md	数据来源、运行方式、判分方法、复判和公开边界
NOTICE.txt	LongMemEval 归属、许可与翻译子集声明
CITATION.cff	机器可读引用元数据
SHA256SUMS	本快照文件完整性校验值

官网证据页

• 500题完整结果与评测方法
• 成绩、判分与下载 FAQ
• Agent 长期记忆与长期上下文的区别
• 用户变化、旧信息失效与证据追溯

公开存档与引用

• GitHub 可复核发布包
• Hugging Face 数据集
• Zenodo 全部版本（Concept DOI 10.5281/zenodo.21410017）
• Zenodo 本修订版（Version DOI 10.5281/zenodo.21418536）

安全边界

本包只包含已经在识流官网公开的评测材料，不包含识流官网源码、服务端实现、内部提示词、API 密钥、SSH 信息、内部路径、日志或生产数据。

更正

如发现更早公开记录、翻译问题、统计错误或许可问题，请发送邮件至 zhengxiao@shiliu.me。识流会保留原始快照，并以新版本发布修正。