Judger

Judger Skill

Purpose

无 LangGraph 的独立评测流水线。支持三种任务类型：

• code — 代码生成评测（human-eval / mbpp），计算 pass@k
• text2sql — SQL 生成评测，SQLite 执行校验
• general_text — 通用文本评测（One-Eval DataFlowEvalTool）

How to Invoke

唯一入口：loopai.skills.Judger.run()

DB_PATH 和 TASK_ID 从环境变量自动获取：

DB_PATH=api/db/db.sqlite3 TASK_ID=<task_id> \
python -c "from loopai.skills.Judger import run; run()"

或通过 CLI：

DB_PATH=api/db/db.sqlite3 TASK_ID=<task_id> loopai-judger

Configuration

配置通过 Configer skill 写入 TaskModel.state，分两部分：

全局字段（state["judger"] 顶层，所有 bench 共享）

字段	默认值	说明
eval_model_path	无	模型路径（必填）
eval_temperature	0	采样温度
eval_top_p	0.95	Top-P 采样
eval_batch_size	10	批处理大小，bench 可覆盖
eval_case_num	10	每问题样本数，bench 可覆盖
eval_vllm_tensor_parallel_size	1	vLLM 张量并行数
eval_vllm_gpu_memory_utilization	0.9	vLLM GPU 显存利用率
cuda_visible_devices	"0"	指定 GPU
output_dir	"./outputs"	输出根目录

Bench 配置（state["judger"]）

所有评测集通过 benchlist 和 extra_benchlist 列表配置。格式必须是 JSON 数组（[{...},{...}]），不是 JSONL（每行一个对象）：

[{"name":"gsm8k","task_type":"general_text","problem_path":"/data/gsm8k/test.jsonl","eval_type":"key2_qa"},{"name":"human_eval","task_type":"code","problem_path":"/data/humaneval.jsonl","case_num":10}]

{
  "benchlist": [
    {
      "name": "gsm8k",
      "task_type": "general_text",
      "problem_path": "/data/gsm8k/test.jsonl",
      "eval_type": "key2_qa",
      "key_mapping": {}
    },
    {
      "name": "human_eval",
      "task_type": "code",
      "problem_path": "/data/humaneval.jsonl",
      "case_num": 10,
      "batch_size": 10,
      "format_type": ""
    },
    {
      "name": "bird_dev",
      "task_type": "text2sql",
      "problem_path": "/data/bird/dev.jsonl",
      "text2sql_dir": "/data/bird/dev_databases",
      "case_num": 10,
      "batch_size": 10
    }
  ],
  "extra_benchlist": []
}