火小懂编辑部
把一份CSV表格交给AI，让它自动清理空值和重复记录，是非常常见的办公需求。但最危险的结果不是程序报错，而是程序正常运行、原始数据却被悄悄改变。比如身份证或订单编号前导零丢失，带逗号的地址被错误拆列，空字符串被当成真正缺失值。pandas的read_csv官方参考说明了大量可配置读取参数，RFC 4180则总结了常见CSV格式规则。本文给出六项可复核的验收步骤，适合运营、财务和技术团队在真正批量处理前检查AI生成代码。
保存原文件并建立字段清单
开始清洗之前，必须把原始文件放入只读备份目录，为它记录文件大小、校验值、行数和字段名。不要允许AI生成的脚本直接覆盖唯一的原文件。先明确每个字段的业务含义：订单编号是文本，金额可能需要固定小数精度，日期需注明时区，手机号也不能简单当作普通整数。特别是一些编号以零开头，如果读取时自动推断为数值，后续导出就可能不可逆地丢掉前导零。字段清单还应标出哪些列包含个人信息，并决定是否必须先脱敏才能提供给外部AI服务。数据清洗的第一步不是删除异常行，而是形成可以证明输出来自哪个输入的证据。
核对分隔符、引号与文本编码
CSV表格看上去只是用逗号分隔的文本，但字段内部可能包含逗号、引号和换行。RFC 4180描述了常见的引号与字段规则，不同实际文件仍可能有扩展差异。使用pandas读取时，应明确测试分隔符、编码、引号处理和有无表头，而不是依赖工具盲目猜测。可以抽取包含中文、引号、换行、特殊符号的样本行，比对原始文本与解析后的字段。若源文件中有多个编码来源，应先制定统一转换方法，再做业务变换。对于解析失败的记录，应形成异常文件并保留行号，而不是使用跳过错误行的选项掩盖问题。
将空值规则与业务规则分开
pandas.read_csv具有缺失值识别相关参数，但“缺失”的业务含义取决于具体字段。订单的优惠码为空可能表示未使用优惠，年龄为空可能表示未采集，合同日期为空则可能是等待审核。不能用一句“删除所有空行”处理这些情况。先统计每列缺失比例，再与业务负责人确认是保留空值、补默认值、标记待核验还是拒绝该行。对AI提出的填充值策略必须展示前后样例，包括哪些记录改变了、为什么改变。只有确定空值规则之后，才可进入大批量处理。对于原本就以字符串形式表示的“NULL”或“不适用”，还需考虑它们是不是合法的业务值。
检查重复行与重复业务主键
完全相同的两行不一定就是错误数据，例如同一产品可能被两名客户购买。相反，拥有相同订单ID但金额不同的记录，才可能构成严重冲突。要把整行重复、业务主键重复、近似文本重复分开统计。针对每一类，定义保留规则，例如按可信时间戳选择最新状态，或者把冲突留待人工审核。不要默认使用drop_duplicates后就宣告数据质量达标。生成一份删除或合并记录明细，记录原行号和决策原因。审计者需要知道十万行输入经过处理后为何剩九万九千行，而不是只看到“清洗成功”。当没有可靠唯一键时，应把高风险合并停在人工复核环节。
进行前后数据质量对账
至少做六个核对：总行数变化、主键唯一性、金额汇总、关键分类分布、日期范围和异常记录数量。对金额字段尤其要避免浮点误差造成看似微小却可累计的差异。举例，一万条交易记录清洗后少了十二条，如果被删除的交易金额合计三千元，就不能只凭百分之零点一二的行数损失判断影响较小。这里的数字仅用来说明验算思路。建立清洗报告，包含输入哈希、脚本版本、执行时间、规则表、差异汇总和待人工处理项。抽取高风险样本逐条对比，往往比只检查最终文件是否能打开更有价值。
上线时采用预演和可回滚输出
将AI生成脚本先运行在复制文件上，使用少量包含边界情况的样本验证后再处理全量。正式执行时写入新文件名，只有验收通过才由授权人员将结果交给下游系统。如果程序中途出错，脚本应明确退出并保留错误日志，不能把半成品当作完整输出。还要评估CSV公式注入：以等号等特殊字符开头的值进入表格软件时，可能被误解释为公式，应依据目标软件采取安全导出策略。为清洗脚本设置资源限制，避免意外占满磁盘。最终交付包含原文件、清洗后文件、规则版本与复核报告，才能真正做到可重复、可追责。
AI能提高表格清洗速度，却不能替代字段意义和财务对账。最小可行的验收方案，是保留原文件、明确定义规则、检查差异、生成新文件，并让人确认高风险变动。只有这样，自动化才不会把数据错误包装成效率提升。
