[Codefuse开源轻训营] 利用LLM生成代码审查结果，并执行评估脚本对代码审查结果进行评估，得到评估结果

[Henrykwokkk]

1. 运行LLM推理：可通过各类LLM API运行推理，从而生成代码审查预测结果并进行评测。

# Set up environment variables
export OPENAI_API_KEY="your-openai-api-key"
export LLM_EVALUATOR_OPENAI_API_KEY="your-o3-evaluation-api-key"

# Run the complete pipeline (uses default Hugging Face dataset)
python scripts/run_eval_pipeline.py \
    --output-dir results/pipeline_output \
    --model gpt-4o \
    --model-provider openai \
    --file-source oracle

# Run with local dataset file
python scripts/run_eval_pipeline.py \
    --dataset-name-or-path results/dataset/code_review_task_instances.jsonl \
    --output-dir results/pipeline_output \
    --model gpt-4o \
    --model-provider openai \
    --file-source oracle

2. 获取评测报告

# Generate evaluation report from pipeline results
python scripts/eval_report.py \
    --dataset-name-or-path results/dataset/code_review_task_instances.jsonl \
    --eval-output-dir results/pipeline_output/evaluation \
    --report-output-file results/evaluation_report.json

# Or use default Hugging Face dataset
python scripts/eval_report.py \
    --eval-output-dir results/pipeline_output/evaluation \
    --report-output-file results/evaluation_report.json

[Monologuethl]

@Henrykwokkk
以下为运行PR与总结
PR

1. hugging face的数据下载问题：

运行测试脚本，第一个是从hugging face上下载，由于网络问题一直下载不了，尝试去抱脸网去手动下载放置项目下，运行第二个命令不再报文件错误，由于下载处理评估速度较慢，可以手动建一个单条的测试集

# Set up environment variables
export OPENAI_API_KEY="your-openai-api-key"
export LLM_EVALUATOR_OPENAI_API_KEY="your-o3-evaluation-api-key"

# Run the complete pipeline (uses default Hugging Face dataset)
python scripts/run_eval_pipeline.py \
    --output-dir results/pipeline_output \
    --model gpt-4o \
    --model-provider openai \
    --file-source oracle

# Run with local dataset file
python scripts/run_eval_pipeline.py \
    --dataset-name-or-path results/dataset/code_review_task_instances.jsonl \
    --output-dir results/pipeline_output \
    --model gpt-4o \
    --model-provider openai \
    --file-source oracle

# Use skeleton stubs for Python files (optional)
python scripts/run_eval_pipeline.py \
    --dataset-name-or-path results/dataset/code_review_task_instances.jsonl \
    --output-dir results/pipeline_output \
    --model gpt-4o \
    --model-provider openai \
    --file-source bm25 \
    --k 10 \
    --retrieval-output-dir results/retrieval_output \
    --use-skeleton

处理下载的文件的脚本

import pandas as pd

# 手动下载数据集放到 scripts/data，处理成jsonl文件
# https://huggingface.co/datasets/inclusionAI/SWE-CARE/blob/main/data/dev-00000-of-00001.parquet
# https://huggingface.co/datasets/inclusionAI/SWE-CARE/blob/main/data/test-00000-of-00001.parquet

# 转换test数据集
test_df = pd.read_parquet('data/test-00000-of-00001.parquet')
test_df.to_json('swe_care_test.jsonl', orient='records', lines=True)

# 转换dev数据集
dev_df = pd.read_parquet('data/dev-00000-of-00001.parquet')
dev_df.to_json('swe_care_dev.jsonl', orient='records', lines=True)

2. GitHub API的 限速

由于没仔细看运行的参数，发现老是报Rate limits ，发现是没有设置GitHub的tockens ，去生成了一个放到参数里，结果就好了
rate-limits-for-the-rest-api

3. 大模型的参数配置

项目默认的是使用openai 的client，支持DeepSeek与Qwen等其他模型，去DeepSeek买了10块的token， 设置API token，模型选择deepseek-reasoner，能得到结果
注：Qwen免费额度

evaluation_report.json

[jingjin-dev]

大模型也可以先试用阿里云的qwen模型，新人有免费额度，每个模型有100万的tokens

[hpzm]

evaluation_report.json

[jingjin-dev]

evaluation_report.json

[bbkx226]

evaluation_report.json