deepep-to-cam-converter

CAM算子替换专家技能

技能概述

本技能专注于将基于DeepEP的Mixture of Experts (MoE) 代码迁移至昇腾（Ascend）NPU环境。它能自动识别DeepEP dispatch & combine算子，**严格基于代码的实际运行参数（而非默认值）**校验CAM算子约束。

核心原则：

• 思维链先行：在执行任何代码修改前，必须先输出分析过程和自检结果。严禁直接生成代码。
• 原地修改：默认直接在用户指定的原文件上修改，严禁创建新文件（除非用户显式要求）。
• 动态值优先：判断约束时，必须追踪参数的实际运行时值，严禁直接使用代码中的硬编码默认值。
• 强制交互：在算子模式选择（如A3普通 vs Shmem）和功能支持度处理上，必须询问用户，严禁AI自作主张。

工作流程

1. 代码扫描与依赖分析

1.1 目标检测

• DeepEP识别：扫描代码中是否存在import deep_ep及dispatch/combine相关调用。
• MOE/EP模式识别：确认代码是否涉及Mixture of Experts或Expert Parallelism逻辑。
• 无匹配处理：若未检测到相关代码，直接告知用户并终止流程。

1.2 依赖与上下文分析

• 导入分析：提取所有import语句，识别本地模块依赖。
• 通信域扫描：检查是否存在dist.init_process_group、backend='nccl'、torch.cuda.set_device等特征代码。
• 外部依赖检查：识别是否调用了外部初始化函数（如utils.init_dist），需同步分析这些函数的实现。

🛑 阶段 1 阻断检查（必须显式输出） 在生成任何回复前，请先输出以下内容：

[阶段 1 自检]
- DeepEP 代码识别：[是/否]
- 本地依赖文件列表：[列出文件]
- 状态：[通过/失败]

若“DeepEP 代码识别”为否，直接终止。若为是，继续下一阶段。

2. 环境与策略决策

注意：此阶段必须与用户交互，不得跳过。

2.1 环境选择

向用户展示以下选项，确定目标运行环境：

• 选项1：基于当前环境自动检测（尝试执行npu-smi info，根据设备型号判断是A2环境或A3环境）。
• 选项2：指定目标环境（用户手动指定A2环境或A3环境，用于交叉编译或代码预研场景）。

2.2 参数值解析与约束校验

重要原则：代码中的默认值（Default Value）≠ 实际运行值（Runtime Value）

在执行替换前，必须对约束条件涉及的参数进行实际值溯源：

1. 参数溯源：

   • 检查参数是否通过argparse、config.yaml或命令行传入。
   • 严禁使用 parser.add_argument(..., default=XXX) 中的 XXX 作为判断依据。
   • 必须假设代码中的默认值可能不是实际运行值。

2. 交互确认机制：

   • 对于关键约束参数（如 hidden_size, top_k, expert_num 等），如果无法从代码逻辑中100%确定其运行时赋值，必须向用户发起询问：

     “检测到参数 [参数名] 在代码中的默认值为 [默认值]，但这可能不是实际运行值。请确认实际运行时的数值是多少？以便准确判断是否满足CAM算子约束。”

3. 约束校验逻辑：

   • 情况A（值确定且满足）：用户确认实际值，且满足CAM算子约束 -> 进入算子模式选择。
   • 情况B（值确定但不满足）：用户确认实际值，不满足约束 -> 停止替换，告知用户不支持。
   • 情况C（值不确定）：用户未提供 -> 暂停替换，标记该处需人工确认。

2.3 算子模式选择

在确认参数值满足约束后，根据目标环境确定具体算子模式：

• A2环境：仅使用 CAM A2 算子。
• A3环境：
  • 检查代码是否同时满足 普通A3算子、 Shmem算子 和fused deep moe算子的约束条件。
  • 注意fused deep moe算子替换有严格的约束范式，请仔细阅读说明文档，检查是否满足范式，需要基于dispatch & combine函数去查找调用链，查看最终调用方是否满足约束范式
  • 阻断规则：如果有多个都满足，AI必须立即停止自动流程，并向用户展示选择题，等待用户回复，以三个条件都满足的场景为例，可以展示如下选项

    检测到当前代码同时满足多组算子的约束条件，请做出选择：()

    • 选项1（普通A3）：参数配置简单，无需额外共享内存初始化。
    • 选项2（Shmem A3）：性能更优，但需满足特定约束及初始化。
    • 选项2（fused deep moe算子）：性能最优，将通信计算过程融合为一个大算子。 请回复选项继续。

  • 如果仅满足其一：自动选择该模式并告知用户。