huawei-cloud-dws-migration-teradata-to-dws

Teradata to DWS Migration Skill

概述

本 skill 用于将 Teradata 数据库迁移到华为云 DWS（数据仓库服务）。迁移过程严格遵循以下核心规则：

1. 禁止在源端 Teradata 进行任何写操作 — 所有对源端的访问均为只读
2. 遵循 Teradata 到 DWS 的数据类型映射规则 — 参考 https://support.huaweicloud.com/migration-dws/dws_15_0131.html
3. 迁移分为两大步骤 — 先迁移表结构（DDL），后迁移表数据（DML）
4. 重复表需用户确认 — 发现 DWS 中已存在的表时，列出并询问用户确认后才删除重建
5. OBS 临时目录 — 数据导出到 OBS 而非本地磁盘，避免磁盘容量问题
6. COPY 命令批量导入 — 使用 COPY 命令替代逐行 INSERT，性能提升 10-100 倍，支持 TB 级数据

迁移流程

Step 0   迁移前预检     pre_migration_check.py  网络/源端/目标端/业务影响/时间预估（全部只读）
  ↓
Step 1   表结构 DDL    migrate_schema.py       只读提取 DDL → 数据类型映射 → PPI 分区转换(ppi_converter)
                                                  → 生成 DWS DDL → 重复表确认 → 建表
  ↓
Step 2   表数据 DML    migrate_data.py         CSV/OBS 临时目录导出 → 实时进度 → COPY/OBS 外表导入 → 校验
  ↓
Step 2.5 视图/宏/过程  migrate_views_procs.py  提取(SHOW VIEW/MACRO/PROCEDURE) → SQL 语法转换 → DWS 重建
  ↓
Step 3   数据校验       validate_migration.py   表数/行数/列/聚合/抽样/TIMESTAMP 精确值比对
  ↓
Step 3.5 功能性校验     validate_functional.py  宏/存储过程/视图调用与结果比对

使用前提

环境要求

• Python 3.8+
• Teradata ODBC 驱动 或 teradatasql Python 包
• DWS gsql 客户端 或 psycopg2 Python 包
• （可选）DSC 工具 — 用于 SQL 脚本迁移，需 JDK 1.8+
• （可选）obsutil — 用于通过 OBS 中转导入数据

安装依赖

pip3 install teradatasql psycopg2-binary

配置文件

在使用前，需要准备以下配置文件：

1. Teradata 连接配置 — 参考 config/teradata_config_template.ini
2. DWS 连接配置 — 参考 config/dws_config_template.ini
3. 迁移配置文件（视图/宏/存储过程迁移与功能性校验使用）— 参考模板 config/migration_config_template.yaml，复制为 config/migration_config.yaml 并填写 Teradata/DWS 连接信息（含 source_database、目标 schema 等字段），格式说明见下文「迁移配置文件（migration_config.yaml）」

迁移配置文件（migration_config.yaml）

migrate_views_procs.py（Step 2.5）与 validate_functional.py（Step 3.5）通过 --config config/migration_config.yaml 读取 Teradata/DWS 连接信息。该文件不在 skill 包内随附，需从模板创建：

cp config/migration_config_template.yaml config/migration_config.yaml
# 编辑 config/migration_config.yaml 填写实际连接信息

格式说明（YAML，字段说明见模板内注释）：

teradata:
  host: <teradata_host>          # Teradata 主机地址
  port: 1025                     # Teradata 端口（默认 1025）
  user: <td_user>                # Teradata 只读账号
  password: <td_password>        # 或通过环境变量 TD_PASSWORD 注入
  database: DBC                  # 连接数据库（默认 DBC）
  logmech: TD2                   # 登录机制（默认 TD2）
  source_database: <source_db>   # 待迁移的源数据库名（必填）
dws:
  host: <dws_host>               # DWS 集群连接端点
  port: 25308                    # DWS 端口（默认 25308）
  database: <dws_database>       # DWS 数据库名
  user: <dws_user>               # DWS 账号
  password: <dws_password>       # 或通过环境变量 DWS_PASSWORD 注入
  schema: public                 # 目标 Schema（默认 public）
  target_schema: public          # target_schema 优先于 schema 用于目标表