Judger

Judger Skill

Purpose

无 LangGraph 的独立评测流水线。支持四种任务类型：

• code — 代码生成评测（evalplus 的 HumanEval+ / MBPP+，或 LiveCodeBench），计算 pass@k
• text2sql — SQL 生成评测，SQLite 执行校验
• general_text — 通用文本评测（One-Eval DataFlowEvalTool）
• math — 数学/AIME 评测（生成、答案提取和判分在 Docker 镜像内完成）

How to Invoke

唯一入口：loopai.skills.Judger.run()

DB_PATH 和 TASK_ID 从环境变量自动获取：

DB_PATH=api/db/db.sqlite3 TASK_ID=<task_id> \
python -c "from loopai.skills.Judger import run; run()"

或通过 CLI：

DB_PATH=api/db/db.sqlite3 TASK_ID=<task_id> loopai-judger

首次修改 setup.py 后需重新安装项目才会生成 loopai-configer / loopai-judger 命令；开发环境也可直接用 python -m loopai.skills.Configer.cli 和 python -m loopai.skills.Judger.cli。

Configuration

配置通过 Configer skill 写入 TaskModel.state，分两部分：

全局字段（state["judger"] 顶层，所有 bench 共享）

字段	默认值	说明
eval_model_path	无	模型路径（必填）
eval_temperature	0	采样温度，bench 可覆盖
eval_top_p	0.95	Top-P 采样，bench 可覆盖
eval_max_tokens	16384	最大输出 token 数（含思考推理），bench 可覆盖。vLLM 以 --generation-config vllm 启动，模型目录 generation_config.json 的 max_new_tokens 不会再把上限压低（如 Qwen3-8B-Base 的 2048）
eval_enable_thinking	不设置	思考模式开关（None 跟随模型默认 / True 开 / False 关），bench 可覆盖
eval_batch_size	10	宿主 generate 阶段每批并发多少条 prompt；只对 code 的 evalplus 分支和 text2sql 生效（LiveCodeBench 在容器里自己生成，不吃这个值），bench 可覆盖
eval_case_num	10	每问题样本数，bench 可覆盖
eval_vllm_tensor_parallel_size	1	vLLM 张量并行数
eval_vllm_gpu_memory_utilization	0.9	vLLM GPU 显存利用率
cuda_visible_devices	"0"	指定 GPU
output_dir	"./outputs"	输出根目录
eval_model_name	空	/v1/models 暴露的模型名；留空使用 eval_model_path
eval_top_k / eval_min_p	-1 / 0	math 请求采样参数

Bench 配置（state["judger"]）

所有评测集通过 benchlist 和 extra_benchlist 列表配置。格式必须是 JSON 数组（[{...},{...}]），不是 JSONL（每行一个对象）：

{
  "benchlist": [
    {
      "name": "gsm8k",
      "task_type": "general_text",
      "problem_path": "/data/gsm8k/test.jsonl",
      "eval_type": "key2_qa",
      "key_mapping": {}
    },
    {
      "name": "human_eval",
      "task_type": "code",
      "problem_path": "data/evalplus/humaneval_plus.jsonl",
      "case_num": 10,
      "batch_size": 10,
      "format_type": "humaneval+"
    },
    {
      "name": "livecodebench_codegen",
      "task_type": "code",
      "problem_path": "data/livecodebench/test.jsonl",
      "format_type": "livecodebench",
      "lcb_scenario": "codegeneration",
      "case_num": 1
    },
    {
      "name": "bird_dev",
      "task_type": "text2sql",
      "problem_path": "/data/bird/dev.jsonl",
      "text2sql_dir": "/data/bird/dev_databases",
      "case_num": 10,
      "batch_size": 10
    },
    {
      "name": "aime26",
      "task_type": "math",
      "problem_path": "/data/aime26_test.jsonl",
      "case_num": 2
    }
  ],
  "extra_benchlist": []
}