swe-bench-essential AGENTS.md

SWE-bench Essential

基本规则

默认从项目根目录运行。所有 Python 调用都用 uv run python ...。

不要打印 API key 的值，只能打印 key 名。使用 .env 保存 DEEPSEEK_API_KEY，可选 ANTHROPIC_API_KEY、ANTHROPIC_AUTH_TOKEN、CLAUDE_CODE_OAUTH_TOKEN。

生成产物放在 result/<run-name>/。推荐命名为 <agent>-pro-<scope>-<YYYY-MM-DD_HH-mm-ss>。共享 runtime 放在 .cache/agent-runtime/，Pro Public 资源放在 .cache/swebench-pro/；两者都是可重建缓存。

默认保留 trace、logs、patches、Penguin homes 和 eval workspaces。除非用户明确要求，不要删除可用于复盘的中间产物。

环境准备

uv sync --locked
uv run python scripts/check_env.py
uv run python scripts/build_agent_runtime.py -o .cache/agent-runtime
uv run python scripts/swebench_pro/prepare_resources.py

build_agent_runtime.py 默认构建全部组件，也可以用 --components 增量构建： base、codex、moonbridge、claude、penguin。传入 --components missing 可自动检测并 只构建缺少的组件。claude 和 penguin 会自动包含 base；增量构建会原子合并到已有 runtime，失败时保留旧版本。

Penguin 组件当前默认使用 Prism-Shadow/penguin-harness 的 v0.1.5 标签。 历史版本实验应通过 --penguin-version <version> 构建到独立 runtime 目录，避免覆盖默认 runtime。

uv run python scripts/build_agent_runtime.py \
  --components penguin \
  --penguin-version 0.0.1 \
  -o .cache/agent-runtime-v0.0.1

agent-runtime 只读挂载到 case container 的 /opt/agent-runtime，至少包含：

bin/claude
bin/codex
bin/moonbridge
bin/pnpm
penguin-harness/

Node/Claude 通过 runtime 自带的 glibc loader wrapper 启动，以兼容缺少 /lib64/ld-linux-x86-64.so.2 的 Pro 镜像。出现 runtime 可执行文件缺失时，先重建 .cache/agent-runtime/，不要误判为模型或 API 失败。

Pro Case 选择

Prediction、campaign 和 eval 默认使用 assets/swebench_pro_picked_40.txt。选择顺序为：默认或自定义清单、--filter、--slice。

• --all-instances：使用完整 Pro Public 数据。
• --instance-ids-file <path>：使用自定义 case 清单。
• --filter '<regex>'：按完整 instance ID 过滤。
• --slice 0:N：对过滤结果切片。

Prediction Runners

三个 runner 都为每个 instance 启动官方 case container，在 /app 内运行 agent，并用 git diff --binary 导出 patch。

通用选项：

• -o result/<run-name>：输出目录。
• --agent-runtime-dir .cache/agent-runtime：指定共享 runtime。
• --case-network bridge：允许 agent 调用模型 API。
• --timeout 1800：单个 case 的 agent 超时。
• --max_workers N：并行 case 数量，默认 1。
• --redo-existing：重跑已有 prediction；续跑时默认不要使用。