fleur-dagster-http-source

Dagster HTTP Source Asset

当用户只提供一个远端 HTTP 链接，并希望生成 HTTP -> S3 Parquet -> ClickHouse raw 链路代码时，使用本 skill。

目标不是生成孤立 asset，而是把新数据集纳入 fleur 的长期边界：

• 远端接口事实记录在 docs/references/remote_endpoint/。
• 字段事实源记录在 pipeline/contracts/datasets/*.yml。
• Dagster source asset 写入 contract 精确匹配的 S3 Parquet。
• ClickHouse raw asset 由 pipeline/contracts 中的 clickhouse_raw 自动生成。

配合使用

• 先使用 dagster-expert，并按需读取 asset metadata、dependency 和 dg check reference。
• 涉及 contract、Parquet schema、ClickHouse raw 字段时使用 fleur-contract-data-dictionary。
• 写 Python 代码或测试时使用 dignified-python。
• 需要实际 materialize、回填或重跑时使用 fleur-dagster-backfill-runbook。
• 涉及 Dagster、ClickHouse client、PyArrow、dbt 等库/CLI 的 API 细节时，按 AGENTS.md 使用 Context7。

输入归一化

最小输入可以只有一个 URL。先把它归一化成下面事实，不足时自己探测；只有鉴权、 业务口径或目标数据集命名无法安全推断时才问用户。

• source：供应商或站点名，作为 source bundle 名和 asset tag。
• dataset：形如 <source>__<entity>，作为 source asset 尾段、contract 文件名和 raw table 名。
• endpoint：HTTP method、URL、query params、headers、referer、分页和速率限制。
• payload_format：JSON、CSV、TXT、ZIP 等。
• grain：一行代表什么。
• storage_mode：latest_snapshot 或 partitioned。
• partition_key_name：仅 partitioned 需要，如 year、trade_date。
• raw_sync：是否同步到 ClickHouse raw；不能确定时默认做 source-only，并在最终说明原因。

如果 URL 需要 token、cookie、账号密码或私有 header，不能把密钥写进代码、文档或最终回答； 应使用现有 .env/resource/config 模式，缺少变量时向用户要变量名或鉴权方式。

Endpoint Profiling

1. 先读入口文档：AGENTS.md、docs/architecture/scheduler-architecture.md、 docs/architecture/scheduler-module-boundaries.md。
2. 查已有事实：docs/references/remote_endpoint/<dataset>.md、 pipeline/contracts/datasets/<dataset>.yml、同源 pipeline/scheduler/src/scheduler/defs/sources/<source>/。
3. 用 curl 或现有 HTTP client 探测 URL。公开接口可以直接取小样本；需要鉴权或大量数据时只记录阻塞原因。
4. 记录或更新 docs/references/remote_endpoint/<dataset>.md，至少包含： endpoint、请求示例、参数表、响应结构、分页/游标、错误码、保留期限、headers、速率限制和样例字段。
5. 不从字段名凭空编业务含义。中文描述无法确认时按 contract skill 使用“待核实”格式。

Contract First

新增或修改 source asset 前，先维护 pipeline/contracts/datasets/<dataset>.yml。