关于论文的一些问题

[CurryxIaoHu]

如何复现文章的实验？可以提供一些case study吗，比如和原始skill相比，改进了什么使得在GAIA上分数上涨呢？另外，文章的实验setting是给agent所有爬取下来的一组skills吗？

[zwliJay]

感谢关注！

关于复现，可以参考论文中的 experimental setup，并结合当前 GitHub repo 中开源的 SkillHone Skills 来做近似复现。一个可行方式是使用 Claude Code 作为 agent runtime，加载本 repo 中的 SkillHone-related Skills，运行类似的 skill evolution workflow：执行任务、生成反馈、诊断失败、修改 skill bundle、记录 decision history，并进行多轮迭代。

在 Claude Code + Skills 的设置下，可以近似复现内部 harness 的核心效果：通过 evaluation feedback 驱动 skill revision，并通过 persistent decision history 记录每轮诊断、修改、证据和结果，使后续迭代能够基于已有历史继续改进。

关于 case study，论文 Table 4 展示了一次 deep-research skill run 的 repository workflow records。这里需要强调的是，SkillHone 的提升不是简单地“引入更多工具”，而是通过多轮反馈持续优化 Agent 解决 deep research 任务的整体流程。例如：什么时候进行 broad search，什么时候转向 source-following，如何处理搜索失败和网页抓取失败，如何做 Wiki / Wikidata / SPARQL 辅助验证，如何控制 budget，如何处理 name-format 和实体消歧，以及如何在不确定时进行回退和二次验证。

因此，Table 4 中看到的搜索脚本、网页抓取、Wiki/Wikidata 查询、SPARQL、budget strategy、name-format rules 等修改，本质上是在把原始 skill 逐步组织成一个更稳定的 deep-research procedure，而不是简单堆叠工具。这也是相比原始 skill，最终在 GAIA / WebWalkerQA-EN 上提升的主要来源。

另外，实验中 agent 并不是直接拿到所有爬取下来的 skills。SkillHone 中有一个 Explorer 阶段，用于主动发现当前 skill 还不知道的可用工具、API 和 community skills，从而扩展 skill 的工具空间。由于其他 baseline 本身没有这个探索阶段，为了保证实验公平性，我们把 Explorer 阶段发现并整理出的相关 Skills / tools 收集成 shared existing-skill pool，并放到每个可比 baseline 的 workspace 中进行实验。

因此，实验比较的重点不是 SkillHone 是否额外拿到了更多工具，而是在相同的 starting skills / tools 基础上，不同方法是否能够进一步组织、修改和优化这些 skills。