Search-R1 的测试集在预处理之后，下采样到了几千条？不是用的全量的？

[Caydencx]

看代码发现 Search-R1 的测试集在预处理之后，下采样到了几千条，不是用的全量的，会不会影响测试指标效果。

[NLPJCL]

抱歉，这里容易混淆。
1.其实这里数据处理代码，是为了训练的时候能监控测试效果，但又不至于太慢，所以采样了部分测试集合（每种类型 500 条）。
https://github.com/NLPJCL/SearchAgent-Zero/blob/main/examples/search_agent_rl/preprocess_search_r1_dataset_new.py
2.但是实际评测的时候https://github.com/NLPJCL/SearchAgent-Zero/blob/main/run_qwen2.5_3b_instruct_search_multiturn_SearchR1_eval.sh 应该使用全量测试集合，readme 的结果中也是这样做的。