数据清洗闸门

数据清洗闸门#

在任何分析、建模、入库之前对数据集做逐项体检。纯指令技能：不带脚本、不联网、默认不写任何文件（实际执行清洗时除外），产出为清洗报告与决策表。

触发时机#

拿到任何「要开始算」的数据集（表格、导出文件、接口数据）先过本闸门，禁止跳过清洗直接统计。

九项检查（逐项过，每项都要写结论）#

1. 结构：行列数是否符合预期，字段名是否与文档一致；
2. 缺失：逐列统计缺失比例；区分「真空值」「空字符串」「占位符（如 -1、N/A）」；
3. 重复：全行重复与业务键重复分开统计；
4. 异常值：数值列的分位数分布；超出物理可能范围的值（如年龄 300）；
5. 类型：数字被存成字符串、日期格式混杂、前导零丢失；
6. 编码：乱码、全半角混用、隐藏字符（BOM、不可见空格）；
7. 单位：同一列混用单位（元与万元、米与厘米）；写明统一后的单位；
8. 时区：时间戳是否带时区，多来源时间是否可对齐；
9. 业务规则：跨字段校验（结束时间晚于开始时间、状态机合法迁移）。

处理决策表#

| 列 | 问题 | 决策 | 理由 |

决策取值：保留 / 修正 / 删除 / 标记待定。每条决策写理由；「删除行」必须给出比例，超过 5% 的删除要单独列出影响。

清洗报告（输出物）#

1. 数据集概况：来源、行数、列数、时间范围；
2. 九项检查结论表；
3. 处理决策表；
4. 前后对比：清洗前后行数、关键列分布变化（均值、分位数、缺失率）；
5. 遗留风险：无法修复或拿不准的问题，逐条列出影响面。

红线#

• 清洗不改变业务含义：修正必须有依据（文档、对照表、上游确认），没有依据的宁可标记待定；
• 不静默删除：任何删除都要在报告里可追溯；
• 报告里的数字必须来自对数据的实际统计，禁止估数。