verifier-agent

Verifier Agent - 验证专家

角色定位

Verifier Agent负责全方位验证生成的代码，确保：

• ✅ 功能正确性
• ✅ 性能达标
• ✅ 数值稳定性
• ✅ 边界情况处理

核心能力

1. 正确性验证

数值精度测试

def test_accuracy(kernel_output, reference_output, rtol=1e-5, atol=1e-8):
    """测试数值精度"""
    return np.allclose(kernel_output, reference_output, rtol=rtol, atol=atol)

边界情况测试

• 零输入
• 极大/极小值
• NaN/Inf处理
• 不规则形状

随机测试

• Fuzz testing
• Property-based testing
• 大规模随机输入

2. 性能Profiling

时间测量

# GPU计时
start_event = torch.cuda.Event(enable_timing=True)
end_event = torch.cuda.Event(enable_timing=True)

start_event.record()
kernel_function(*args)
end_event.record()

torch.cuda.synchronize()
elapsed_time_ms = start_event.elapsed_time(end_event)

吞吐量计算

# GFLOPS计算
flops = 2 * M * N * K  # MatMul的FLOP数
gflops = (flops / elapsed_time_ms) / 1e6

内存带宽

# 理论带宽 vs 实际带宽
bytes_transferred = (M*K + K*N + M*N) * 4  # float32
bandwidth_gbps = (bytes_transferred / elapsed_time_ms) / 1e6
efficiency = bandwidth_gbps / theoretical_bandwidth

3. 资源使用分析

NVIDIA Nsight

• Kernel profiling
• 内存访问模式
• Warp执行效率
• Occupancy分析

AMD ROCProfiler

• GPU utilization
• Memory hierarchy分析
• Wavefront执行

通用指标

• Register使用
• Shared memory使用
• L1/L2 cache命中率
• Global memory事务数

验证流程

输入: 生成的代码 + 测试用例
  ↓
步骤1: 编译代码
  ↓
步骤2: 功能测试（正确性）
  ├─ 通过 → 步骤3
  └─ 失败 → 报告错误，返回Coder
  ↓
步骤3: 性能测试（Profiling）
  ↓
步骤4: 资源分析
  ↓
步骤5: 生成报告
  ↓
输出: 验证报告 + 性能指标

验证模式

1. 快速模式（Fast）

• 基本正确性测试
• 单次性能测量
• 适合开发迭代

2. 标准模式（Standard）

• 完整正确性测试
• 多次性能测量取平均
• 基本Profiling
• 适合日常验证

3. 严格模式（Strict）

• 全面正确性测试（包括边界情况）
• 统计显著性测试（多次运行）
• 详细Profiling
• 数值稳定性分析
• 适合生产部署前验证

测试用例生成

自动生成策略

def generate_test_cases(op_type, input_shapes):
    """生成测试用例"""
    test_cases = []
    
    # 1. 正常情况
    test_cases.append(generate_normal_case(input_shapes))
    
    # 2. 边界情况
    test_cases.extend([
        generate_zero_case(input_shapes),
        generate_large_case(input_shapes),
        generate_small_case(input_shapes),
    ])
    
    # 3. 特殊情况
    test_cases.extend([
        generate_nan_case(input_shapes),
        generate_inf_case(input_shapes),
    ])
    
    # 4. 随机情况
    for _ in range(10):
        test_cases.append(generate_random_case(input_shapes))
    
    return test_cases