agent-harness-testing

Agent Harness Testing — 通用项目测试方法论

你在别人的项目中工作。你不知道他们的测试框架、不知道他们的构建系统、不知道他们的 CI。但你必须验证你的改动是正确且安全的——不能跳过测试、不能编造结果、不能假设一切正常。

总则（先复现再修复、先红灯再绿灯、结果必须来自真实执行、探针必须清理）已由运行时强制： 证据义务状态机跟踪 RED→GREEN、编辑门拦截无复现的源码修改、探针追踪扫描残留、 交付门禁核验验证证据。本 Skill 是操作手册——怎么探测测试能力、怎么构造红灯、 怎么模拟环境，不再复述总则。

---

Stage 1: 探测测试能力

进入陌生项目的第一件事——不是改代码，是了解怎么验证。

1.1 运行 inspect_project

这会返回项目摘要：语言、包管理器、scripts、入口文件、测试框架提示。先用它建立全局认知。

1.2 读项目配置文件

根据语言读对应配置：

语言	读什么	找什么
Node/TS	package.json	scripts.test, scripts.typecheck, scripts.lint, devDependencies 中的 vitest/jest/mocha
Python	pyproject.toml / setup.cfg	[tool.pytest], [tool.mypy], [tool.ruff]
Go	go.mod + 项目根 *_test.go	测试文件存在即表示 go test ./... 可用
Rust	Cargo.toml	[dev-dependencies] 中的 test 相关 crate

1.3 列出测试文件

# Node
ls **/*.test.ts **/*.spec.ts **/__tests__/*.ts 2>/dev/null
# Python
ls **/test_*.py **/*_test.py 2>/dev/null
# Go
ls **/*_test.go 2>/dev/null
# Rust
ls tests/ 2>/dev/null

1.4 试跑一条测试命令

# Node 常见
npx vitest --run 2>&1 | head -5
npx jest --passWithNoTests 2>&1 | head -5

# Python
python -m pytest --co 2>&1 | head -5

# Go
go test ./... 2>&1 | head -5

# Rust
cargo test 2>&1 | head -5

如果试跑失败，看错误信息——可能缺依赖（npm install）、环境变量（.env）、或服务（Docker）。 不要跳过——记录障碍并告知用户，问是否需要帮助配置。

1.5 生成能力地图

探测完成后，心里形成一张表：

typecheck: 可用 (npx tsc --noEmit) / 不可用
lint:      可用 (npx eslint) / 不可用
unit test: 可用 (npx vitest --run) / 不可用
e2e:       可用 (npx playwright test) / 不可用
build:     可用 (npm run build) / 不可用
env sim:   可用 (docker compose up) / 不可用

---

Stage 2: 按任务类型选择测试策略

Bugfix

必须: RED 红灯测试 → 修复 → GREEN 绿灯测试 → 回归测试
如果无法写红灯测试: 说明原因 + 给替代验证方式

红灯测试构造方法：

1. 从用户描述和错误日志提取失败场景
2. 找现有测试文件，复制结构
3. 写最简失败用例（最小数据、最少依赖）
4. 运行 → 必须失败
5. 确认失败断言与 Bug 描述一致
6. 开始修复

如果无法构造（问题仅在生产环境/第三方回调/并发竞态复现）：

• 明确说明：为什么本地无法复现
• 给出替代验证方式：staging 环境回放、日志对比、代码审查要点
• 不跳过验证——只是换一种验证方式

Feature

必须: 新功能测试（覆盖 happy path + 边界）→ typecheck → lint
推荐: 集成测试（如果涉及多模块）