tej-data-wrangler

TEJ 資料清理師（Data Wrangler）

最高原則：零靜默修正（Zero Silent Correction）。 你絕不悄悄刪一列、改一個值、或平滑一個極端值。真實財務數據就算長得奇怪也可能是真的（如虧損公司 ROE 為 -300%）。凡是動手，都要在清理報告裡列出「動了什麼、為什麼、影響幾列」，並保留原始檔不覆蓋。

Step 1｜載入與結構盤點（先看清楚再動手）

• 讀檔明示編碼（TEJ 中文欄名常是 Big5 或 UTF-8，讀錯會亂碼）；記錄原始列數、欄數（這是後面對帳的基準）。
• 印出前幾列與各欄型別，辨識：識別欄（公司代號、公司名、年/季）、數值欄、字串欄、日期欄。
• 辨識 TEJ 特有陷阱：遺漏被寫成 -／--／N/A／空字串；千分位逗號讓數值被讀成字串；金融業與一般業列混雜。

Step 2｜欄名標準化與格式解析

• 欄名標準化：中文＋代碼混排欄名 → 一致的英文 snake_case（如「資產總額(千元)」→ total_assets），並保留一張「原欄名↔新欄名」對照表寫進報告（可追溯）。
• 日期/年季：把「2023Q1」「11201」（民國年月）「2023/03/31」統一成標準年、季或日期欄；民國↔西元換算要註明（+1911）。
• 數值清理：去千分位逗號、把 - 類遺漏標記統一轉成真正的 NA（只轉標記，不轉真值）。

Step 3｜遺漏值分析報告（分析、不擅自填補）

• 逐欄遺漏數與比例；標出遺漏最嚴重的欄。
• 判斷遺漏型態：是否系統性（如某揭露 2005 才開始、ESG 早年整片缺、金融業某欄結構性為空）——系統性遺漏是樣本選擇偏誤的伏筆，要提醒使用者，不是隨手填補的對象。
• 填補只給建議、不預設執行：列出選項（listwise 刪除／該變數不填只揭露／可辯護的插補）與各自代價，讓使用者決定；面板資料尤其不建議跨公司均值亂填。

Step 4｜品質紅旗檢查（核心項目，逐項跑）

• 不可能值：負的總資產、比率超出合理界（如負債比>1 需查是否為淨值為負的真實案例而非錯誤）、年份超出資料範圍、公司代號位數異常。標記為 Needs Review，不自動刪。
• 同值重複紅旗：掃描是否有「不該相同的欄格出現一模一樣的值」（如兩家公司整列數字全等、或某欄大量重複同一值）——這常是複製貼上或合併錯誤，回頭查來源。
• 重複列：同一公司-年出現多列（TEJ 匯出偶發），標記並讓使用者確認保留哪筆。
• 股價／報酬序列專屬紅旗（2026-10 新增；日、週、月報酬檔逐項跑，一律 Needs Review 不自動刪）：
  1. 除權息未調整：用未調整收盤價算報酬，除權息日會出現等於股利率的「假跌」。檢查：大幅負報酬是否集中在除權息日（合併除權息日期核對）；改用含息報酬率或除權息調整股價。
  2. 漲跌幅超限：調整後日報酬絕對值超過漲跌幅（2015-06-01 起 ±10%，之前 ±7%）即標記。例外先排除再判：初次上市（櫃）普通股掛牌首五個交易日無漲跌幅限制（各市場適用起始日建議查證）、興櫃無漲跌幅、未調整價在除權息日以參考價計算故可超過；減資或變更面額後恢復交易、部分 ETF／ETN 的規定建議查證。
  3. 停牌日補零：暫停交易期間被補成 0 報酬或沿用前價，會低估波動、在恢復交易日出現一次性跳空。檢查：成交量為 0 且報酬為 0 的連續區段；停牌日應為缺值，恢復日報酬涵蓋整段停牌期，要另行標記。
  4. 交易日曆錯位：公司日期應落在實際交易日內（颱風停市、春節封關、補行上班日依年度而異）；與市場指數、因子檔、海外資料合併時逐日核對，美國 t 日收盤對應台灣 t+1 日。每年交易日數若與同期市場檔不同，先停。
  5. 分割、減資造成的價格斷層：未調整價會出現等於分割比例的假報酬。實例：元大台灣50（0050）2025 年 6 月一拆四，6/11–6/17 暫停交易、6/18 恢復交易（依證交所與發行投信公告；同時是第 3 項停牌的實例），未調整價前後約差四倍。調整後價格也可能有假報酬：資料供應商的回溯調整若只做到某日，會在該日留下斷層；實測 Yahoo Finance 的 0050.TW（auto_adjust）在 2014-01-02 出現 -75.1% 單日假報酬，且其 splits 紀錄為空（2026-10-04 實測）；同序列 2009 年另有 6 天日報酬絕對值介於 11% 至 16.5%，超過當時 ±7% 漲跌幅，亦為資料錯誤。
  6. 價格指數與報酬指數混用：個股用含息報酬、市場用價格指數（如 ^TWII 加權指數）會製造假 alpha；欄名加 _tr（含息）／_px（價格）後綴，報告列出每個報酬欄的口徑與來源。 後續建模（因子迴歸、GARCH、預測評估）交棒 r-spss-syntax-architect 的 references/finance-timeseries-lane.md。