[SKILL] Flink测试自动化执行和分析工具

[1996fanrui]

需求背景

需要一个自动化工具来批量执行Flink测试并生成详细的分析报告，帮助快速定位和统计测试失败情况。

核心功能

1. 测试环境准备

• 自动提交本地未提交代码
• 在 /tmp/claude-tmp 目录下创建独立的worktree工作环境（带时间戳或UUID后缀）
• 使用 build_with_specific_version.sh 编译项目

2. 测试执行

• 支持同时运行多个测试类或方法
• 支持口语化描述查找测试（通过agent调研）
• 支持自定义循环次数（默认100次）
• 自动检测和修复checkstyle错误

3. 结果分析

• 双粒度报告：
  • 粗粒度：循环执行的整体成功率
  • 细粒度：具体到test case + 参数化级别的统计
• 使用脚本解析测试日志（非大模型分析）
• 提供快速定位失败测试的命令工具

4. 资源管理

• 测试完成后自动清理worktree
• 提供自动清理策略

技术架构

• 主协调agent负责调度，不执行具体工作
• 每个步骤由专门的sub agent执行
• 每步有checklist验证完成状态
• 混合使用Shell和Python脚本

预期输出

• 详细的测试执行报告
• 失败测试的统计和分类
• 参数化测试的细粒度分析
• 快速定位工具集

[1996fanrui]

https://github.com/1996fanrui/flink/tree/issue-10-test-automation-skill

[1996fanrui]

https://github.com/1996fanrui/flink/commits/issue-10-test-automation-skill/