dataHub

역할과 위치

dataHub는 특정 엔진의 별칭이 아니다. L1의 provider와 gather, L1.5의 scan, frame, synth, reference, L2의 analysis, credit, industry, macro, quant가 소유한 데이터 제품을 위에서 연합하는 독립 데이터 플랫폼이다.

simulate, story, Universe, AI
              ↓
       DartLab DataHub
              ↓
      L2 분석 데이터 제품
              ↓
     L1.5 횡단, 정규화 제품
              ↓
       L1 원천, provider 제품

하위 owner가 dataProduct.py에 metadata provider를 선언하면 중앙 엔진 목록을 수정하지 않아도 다음 catalog snapshot에 자동 반영된다. source와 계산식의 소유권은 하위 엔진에 남고, dataHub는 발견, 검증, 실행 예산, projection, lineage 결박을 담당한다.

공개 호출 방식

public axis는 둘뿐이다.

import dartlab

dartlab.dataHub()             # catalog, query 가이드
dartlab.dataHub("catalog")   # metadata-only 발견
dartlab.dataHub("query", ...) # stable asset query

factor, records, graph, narrative, resource는 새 axis가 아니라 query의 typed projection이다. 따라서 같은 asset을 native schema 그대로 쓸 수도 있고 factor store 형태로 투영할 수도 있다. DataRequest를 사용하면 한 query에서 asset마다 서로 다른 projection을 지정할 수 있다.

다른 프로세스와 머신은 같은 의미 계약을 versioned remote API로 사용한다.

from dartlab.dataHub import AsyncDataHubClient, DataHubClient

with DataHubClient("https://host", clientToken) as hub:
    job = hub.query(query, wait=False, idempotencyKey="daily-close")
    result = hub.wait(job.jobId)

async with AsyncDataHubClient("https://host", clientToken) as hub:
    result = await hub.query(query)

분산 worker는 python -m dartlab.dataHub.workerPlane --base-url https://host --worker-id node-a로 실행한다. 여러 worker가 같은 durable queue를 pull하되 원자 lease와 epoch가 한 job의 중복 확정을 차단한다.

카탈로그

from dartlab.dataHub import CatalogQuery

allAssets = dartlab.dataHub("catalog")
l2Assets = dartlab.dataHub(
    "catalog",
    query=CatalogQuery(layers=("L2",), search="valuation"),
)

DataAssetDescriptor는 최소 assetId, assetVersionId, owner, layer, kind, sourceRef, queryable, temporalSupport, selectorKind, selectorRequired, concurrencyGroup, executor metadata를 가진다. catalog는 값을 물질화하지 않는다. private, out-of-scope, 폐기, catalog-only 자산도 분류를 위해 보이지만 queryable=False로 차단된다.