怎么用 AI 清洗表格数据?
拿到一张从系统导出的表,两万行,里面混着合并单元格、空行、文本型数字、重复记录、同一家公司五种写法。手工整理要一整天,交给 AI 又怕它把数据改错。
这件事该用哪些工具
C
ChatGPT
能直接读上传的表格文件做清洗,也能给 pandas 代码让你自己跑
K
Kimi
免费、支持上传 Excel 直接分析,适合中小体量表格
F
飞书智能伙伴
在飞书多维表格里做去重和格式统一,团队协作场景方便
具体怎么做:四步
先备份原始文件,永远不在原表上改
清洗过程一定会出错,出错后要能回退。复制一份改名加日期,所有操作在新文件上做。
先诊断,不要直接洗
让它先输出一份「数据体检报告」:多少行、多少空值、多少重复、哪些字段格式不一致、异常值分布。知道问题在哪,才知道该修什么。
按固定顺序处理:去重 → 补缺失 → 统格式 → 查异常
顺序错了会返工。比如先统格式再去重,可能把原本不同的两条记录合并成一条。
每一步都要有可核对的数字
清洗前 20000 行、去重后 18432 行、删除空行 156 行。对不上就说明有逻辑问题,必须查清楚。
可以直接复制的提示词
把花括号里的内容换成你自己的情况,整段粘进对话框即可。提示词里的要求越具体,输出越能用。
先做数据体检
我上传了一张表格,请先做诊断,不要修改任何数据。 请输出一份数据体检报告: 1. 总行数、总列数,每列的字段名和数据类型 2. 每列的空值数量与占比 3. 完全重复的行有多少条,按哪几列判断重复 4. 每列的格式一致性问题(例:日期列里混了 2026/10/20、2026-10-20、10月20日三种写法) 5. 数值列的异常值:最小值、最大值、明显不合理的值 6. 分类字段的写法不一致问题(例:同一家公司写成「XX科技」「XX科技有限公司」「xx科技」) 7. 你认为最需要优先处理的三个问题,以及为什么 只诊断,不动数据。
生成可复现的清洗脚本
基于上面的体检结果,请给我一份 Python 清洗脚本(pandas)。
清洗要求:
1. 去重:按 {列名} 判断重复,保留 {第一条/最新一条}
2. 缺失值:{列名} 为空的行 {删除/填默认值};{列名} 用 {前值填充/均值} 补
3. 格式统一:{日期列} 统一为 YYYY-MM-DD;{金额列} 去掉货币符号和千分位转数值
4. 文本标准化:{公司名列} 去掉「有限公司」「有限责任公司」后缀后比对
5. 异常值:{列名} 超出 {范围} 的标记出来,不要直接删
脚本要求:
- 每一步打印处理前后的行数和关键统计,方便核对
- 原始文件只读,输出到新文件
- 关键步骤加注释说明为什么这么做
- 最后输出一份变更日志(改了什么、影响了多少行)
不要省略代码,用完整可运行的版本。最容易踩的三个坑
在原表上直接改
改错了没法回退,而且没人知道哪一步动过。永远复制一份再操作。
先统格式再去重
把「XX科技有限公司」和「XX科技」统一后,原本两条不同的记录变成了重复记录,去重会误删。顺序必须是先去重再标准化。
不给核对数字
清洗完说「已经处理好了」,但不知道删了多少行、改了多少值。出了问题无从追溯。
常见问题
数据敏感,能上传给 AI 吗?
有风险。涉及客户信息、身份证号、金额的表格,先脱敏(替换姓名、手机号),或者用本地运行的方式(让 AI 写脚本,你自己跑)。
多大的表格 AI 能处理?
网页版上传一般限制在几十 MB、几万行。更大的表让它写脚本用 pandas 跑,不要直接上传。
清洗完怎么验证没改错?
抽样核对:随机抽 20 行对比清洗前后、检查总行数变化是否合理、检查关键字段的分布有没有异常偏移。
其他实操教程
怎么用 AI 做 PPT?
怎么用 AI 做数据分析?
怎么用 AI 做会议记录、音频转文字?
怎么用 AI 写 Excel 公式?
怎么用 AI 做会议纪要?
怎么用 AI 写项目方案与商业计划书?
这套流程是实际跑通的,不是理论推演
工具迭代很快,界面和功能可能已经变了。如果你按这个流程做下来卡在某一步,欢迎告诉我们,会核实后补充。