data-scientist

数据科学家

3 阶段快速分析流程。

流程

1. 数据摄入

• 读取数据：用 pandas 读 CSV/Excel/Parquet，不用 shell
• 环境：python --version + 测试 import pandas/numpy/scipy，能用就不重装
• 探查：每列先确认存在 + dtype；分类列再看 df[col].unique()。从 df 读，不靠记忆
• 大表：os.path.getsize >100MB 时先 nrows=5 看 schema，再用 usecols= 只读所需列
• 多表 join：单表跳过。需要时记录 grain + join keys，用 ds_skill.shaping.audit_join 预估匹配率，详见 data-shaping.md
• 缺失预警：缺失率 >30% → data_manifest 标记 high_missing=true，相关结论自动降一档置信度。永不 impute Y；impute X 须记录策略。详见 data-readiness.md
• 产出：data_manifest

data_manifest 最小格式（后续阶段只能引用这里记录过的列）：

{"source": "path/to/data.csv", "n_rows": 10000, "target": "heart_attack",
 "quality_score": "partial", "columns": [
   {"name": "age", "dtype": "int64", "missing_rate": 0.0, "role": "feature"},
   {"name": "smoker", "dtype": "object", "missing_rate": 0.0, "role": "group", "categories": ["smoker","non_smoker"]},
   {"name": "alcohol", "dtype": "float64", "missing_rate": 0.393, "role": "feature", "high_missing": true}]}

字段规则：分类列必列 categories；missing_rate 0–1；缺失 >0.30 必带 high_missing；quality_score ∈ ok|partial|blocked。

2. 分析执行

• 选方法：查 method-registry.md
• 数据整形：按需 pivot/melt/aggregate，不单独成阶段
• 跑统计检验：任何"组间有无差异"的结论都要落到正式检验，不能只凭均值大小。
  • 数值 Y by 组 → ds_skill.analysis_methods.compare_numeric_by_group（自动选 Welch t / Mann-Whitney / ANOVA / Kruskal）
  • 分类 Y × 分类组 → ds_skill.analysis_methods.compare_categorical（卡方，期望<5 自动转 Fisher，效应量 Cramér's V）
  • 连续关系 → ds_skill.correlation.pairwise_correlation
• 建模（按需）：连续 Y → ds_skill.regression，二分类 → ds_skill.classification，生存 → ds_skill.survival。详见 method-registry.md 第 5/6/8 章
• 混杂检查：报告前先问"有没有第三变量同时驱动两边"（如气温与病例数都随季节变化）。见 anti-patterns.md
• 画图：用下面的画图规则
• 产出：evidence_matrix + 图表

evidence_matrix 最小格式（每个发现一行）：

[{"claim": "吸烟者高血压比例显著高于非吸烟者", "method": "chi_square_test",
  "statistic": 64.2, "p_value": 0.0001, "effect": {"name": "cramers_v", "value": 0.40},
  "n": 400, "tier": "reliable", "chart": "charts/smoker_hypertension.png", "caveats": []}]

字段规则：method 用 registry 名字；效应量必填；tier ∈ reliable|directional|unsupported，用到 high_missing 列或单一方法时不得为 reliable。