数据清洗闸门

新数据集到手先过清洗闸门：缺失、重复、异常、编码、单位、时区逐项排查，输出决策表与前后对比报告

自由如风最新版本 0.1.0更新于 2026-11-02下载 0 次

SKILL.md

1	---
2	name: data-cleaning-gate
3	description: 新数据集到手先过清洗闸门：缺失、重复、异常、编码、单位、时区逐项排查，输出处理决策表与清洗前后对比报告。
4	---
5
6	# 数据清洗闸门
7
8	> 在任何分析、建模、入库之前对数据集做逐项体检。纯指令技能：不带脚本、不联网、默认不写任何文件（实际执行清洗时除外），产出为清洗报告与决策表。
9
10	## 触发时机
11
12	拿到任何「要开始算」的数据集（表格、导出文件、接口数据）先过本闸门，禁止跳过清洗直接统计。
13
14	## 九项检查（逐项过，每项都要写结论）
15
16	1. 结构：行列数是否符合预期，字段名是否与文档一致；
17	2. 缺失：逐列统计缺失比例；区分「真空值」「空字符串」「占位符（如 -1、N/A）」；
18	3. 重复：全行重复与业务键重复分开统计；
19	4. 异常值：数值列的分位数分布；超出物理可能范围的值（如年龄 300）；
20	5. 类型：数字被存成字符串、日期格式混杂、前导零丢失；
21	6. 编码：乱码、全半角混用、隐藏字符（BOM、不可见空格）；
22	7. 单位：同一列混用单位（元与万元、米与厘米）；写明统一后的单位；
23	8. 时区：时间戳是否带时区，多来源时间是否可对齐；
24	9. 业务规则：跨字段校验（结束时间晚于开始时间、状态机合法迁移）。
25
26	## 处理决策表
27
28	\| 列 \| 问题 \| 决策 \| 理由 \|
29
30	决策取值：保留 / 修正 / 删除 / 标记待定。每条决策写理由；「删除行」必须给出比例，超过 5% 的删除要单独列出影响。
31
32	## 清洗报告（输出物）
33
34	1. 数据集概况：来源、行数、列数、时间范围；
35	2. 九项检查结论表；
36	3. 处理决策表；
37	4. 前后对比：清洗前后行数、关键列分布变化（均值、分位数、缺失率）；
38	5. 遗留风险：无法修复或拿不准的问题，逐条列出影响面。
39
40	## 红线
41
42	- 清洗不改变业务含义：修正必须有依据（文档、对照表、上游确认），没有依据的宁可标记待定；
43	- 不静默删除：任何删除都要在报告里可追溯；
44	- 报告里的数字必须来自对数据的实际统计，禁止估数。

文件内容是平台检查时读出的文本，只供查看。平台不会运行包里的任何脚本或程序。