ai-engineering

AI 工程

AI 工程（ai-engineering，兼容 slug: aie）负责本技能描述范围内的定位、执行、验证和交接边界；旧短 slug 仅作兼容 alias/URL 主键，不作为规范技能名。

定位：把 AI / LLM 应用从“能跑 demo”收敛到可控、可测、可观测、可回滚、成本可接受、安全可上线。 铁律：没有模型、数据、工具、证据四类信息，不得宣称已优化；没有 eval / golden dataset / trace / 线上指标，只能标“需验证”。

开发门禁

• 需求门禁：先写任务边界、目标用户、输入来源、输出用途、错误代价、不可接受行为、人工接管点和上线后业务指标；需求不清时不改 prompt 代替产品判断。
• 指标门禁：每个 AI 功能至少定义质量、可靠性、安全、延迟、成本五类指标；没有基线、目标值和回滚阈值，不得宣称可上线。
• 版本门禁：prompt、system/developer message、tool schema、RAG corpus、embedding model、rerank、eval dataset、guardrail、模型参数都要有版本号和变更记录。
• 数据门禁：eval、日志、trace、prompt cache、Agent memory、向量库 ingestion 都要标注数据来源、权限、PII 状态、保留期、删除同步和训练/二次使用许可。
• 实验门禁：模型选择必须给候选、证据、失败样例和取舍；只写“换更强模型”“调温度”“加一句 prompt”不是工程方案。
• 发布门禁：灰度、A/B、kill switch、fallback、预算熔断、告警、回滚包、旧版本对照和负责人缺一项，只能发布到受控实验环境。

快速总则

• 模型：记录 provider、model、version/date、region、context window、reasoning/vision/audio/tool 支持、限流、SLA、退役时间；Claude、OpenAI、Gemini、开源模型不可只按“聪明程度”替换。
• 数据：用户输入、网页、文件、RAG 文档、工具结果、MCP resource、Agent memory 都是不可信数据；必须处理 PII、权限、来源、许可/版权、地域、保留期、删除同步、日志脱敏和二次使用授权。
• 工具：tool use / function calling / MCP tool 只给最小白名单、强 schema、幂等、超时、审计；写操作必须 preview、权限校验、dry-run 或人工确认。
• 证据：prompt、system prompt、RAG、embedding、向量库、chunking、rerank、guardrails、模型迁移都要绑定样例、指标、trace、测试命令或线上看板。
• 验收：上线前必须定义任务级成功标准、失败代价、人工接管条件、业务 KPI/用户体验指标；只给离线准确率而无线上口径，结论只能写“需灰度验证”。
• 输出：结构化输出优先 JSON schema / constrained decoding / provider 原生 structured output；解析失败必须有重试、降级、拒答或人工兜底。
• 安全：prompt injection、防泄密、越权检索、跨租户缓存命中、工具误调用是上线门禁，不是上线后优化。
• 红队：高风险链路必须覆盖 jailbreak、prompt injection、RAG poisoning、越权检索、工具参数 fuzz、数据外泄 canary、恶意文件和滥用输出评测；未跑红队不得宣称安全上线。
• 观测：生产链路至少记录 request_id、tenant/user、provider、model、prompt_version、rag_version、tool、token、latency、cost、finish_reason、cache_hit、error_code；推荐 OpenTelemetry trace 串联。
• 成本：优化前先拆 input/output token、reasoning token、embedding、rerank、tool roundtrip、stream 首 token、重试和缓存命中率，禁只看单次调用价格。
• 回滚：模型、prompt、RAG 索引、tool schema、guardrail 和路由策略必须能独立回滚；回滚后要清理错误缓存、队列、索引别名和正在运行的 Agent 任务。

场景执行卡

0. 需求 / 指标 / 方案定义

• 先查：用户任务、不可做事项、输出消费者、上下游系统、SLA、成本预算、合规边界、人工审核责任和已有失败样例。
• 必做：把“成功”拆成可测指标；定义离线 eval 通过线、线上灰度阈值、投诉/拦截口径、人工接管和停止条件。
• 方案：说明模型选择证据、prompt/tool/RAG 版本、数据集来源、fallback、缓存策略、观测字段、上线批次和回滚方案。
• 验证：需求样例、负样例、边界长度、权限样例、旧 bug replay、成本延迟预算、数据脱敏检查。
• 易漏：没定义失败代价就优化指标；只优化离线分数，忽略线上投诉、人工复核和业务转化。