tdgpt-model-deploy

TDGPT 模型部署辅助 (tdgpt-model-deploy)

何时使用 (When to use)

当用户需要部署、升级或配置 TDGPT 大模型服务（或对接 TDengine 的大语言模型服务）时，触发此技能。 触发关键词：部署 tdgpt、部署 TDengine GPT、部署大模型、tdgpt 部署。

输入 (Input)

• 核心输入：
  • 目标部署环境的硬件规格（如 GPU 型号、显存大小、CPU 核心数、内存容量等）。
  • TDGPT 模型文件的存储路径（如本地磁盘路径、S3 桶地址或 Hugging Face 模型 ID ）。
  • 需要连接的 TDengine 实例配置（主机名/IP、端口、数据库名等）。
  • 运行依赖项（如 Python 版本、CUDA 版本、Web 框架偏好如 FastAPI/Flask ）。
• 澄清策略：
  • 如果未指定 GPU 规格，需向用户确认是否使用 CPU 运行（仅限测试）或者提供推荐的 GPU 显存大小（例如 7B 模型推荐 16GB+ VRAM）。
  • 如果 user 没有指明部署方式，默认生成基于 Docker Compose 的容器化部署方案。

输出 (Output)

1. 容器化配置文件 (Docker Compose)：
   • 提供一份完整的 docker-compose.yml，定义模型服务容器（如 vLLM、TGI、Ollama 等）、与 TDengine 容器的网络连通配置，以及显卡挂载配置（如 deploy.resources.reservations.devices）。
2. 依赖包描述文件 (Requirements)：
   • 若用户偏好原生部署，提供 requirements.txt（包含 torch、transformers、taospy 等核心包及兼容的版本范围）。
3. 服务启动与验证脚本：
   • 提供模型服务的启动指令。
   • 提供一段轻量的 Python 或 Bash 验证脚本，向部署完成的 TDGPT 模型服务发送基础 Prompt，校验其是否能正常生成响应以及是否可连通 TDengine。

特殊业务模型部署默认约定 (Special Business Model Deployment Conventions)

为了降低前端展示和快速演示时的提示词要求，针对烘丝机出口水分时序预测服务模型的部署，若用户指令中仅指定部署该模型而未提供其他部署参数，默认使用以下部署配置约定：

• 默认时序预测服务类文件：_moisture_forecast_Service.py
• 默认配置文件：tdgpt_moisture_rule.json
• 部署目标：一键部署到正在运行中的 Docker 开发容器中。
• 自动加载与刷新：拷贝文件并重启 taosanode 服务后，必须自动在 TDengine 客户端执行 update all anodes; 命令刷新算法列表缓存，保证模型即时生效，并运行基础的 FORECAST SQL 查询进行连通性与结果验证。

安全 (Safety)

• 凭证安全 (No Secrets)：
  • 严禁在生成的配置文件或脚本中硬编码任何真实的 API 密钥、数据库密码或敏感 Token。
  • 应使用环境变量（如 TAOS_PASSWORD=${TAOS_PASSWORD}）进行占位，并提醒用户在外部 .env 文件或系统环境中配置。
• 环境安全：
  • 在执行诸如端口映射开放（如暴露 11434 / 8000 端口至公网）或拉取未经安全扫描的外部镜像前，必须向用户进行风险警示并获得确认。

实战部署案例与常见避坑指南 (Real-world Case & Troubleshooting)

在运行中的开发容器中一键部署与验证 TDgpt 自定义时序预测服务类时，必须注意以下几点以避免联调失败：

1. 算法列表缓存刷新 (Analysis algorithm/model not loaded [0x80000443])

• 痛点：将新算法（如 _moisture_forecast_Service.py）拷贝至容器内部，且重启 taosanode 服务后，直接执行预测 SQL 仍报错 Analysis algorithm/model not loaded。
• 原因：TDengine TSDB 进程缓存了 ANODE 数据分析节点的算法列表，新算法注册后无法被 TSDB 自动探知。
• 解决：算法拷贝且容器重启就绪后，必须在 TDengine 命令行端执行 update all anodes; 或者 update anode <anode_id>; 命令刷新算法列表缓存，直到执行 show anodes full; 能在列表中看到新算法状态为 READY。