去重工具

3 步向导:上传文件 → 配置规则 → 查看结果。同时给出「保留行」与「被移除的重复行」两份清单,高亮复核后再下载,删不删由你决定。

3 步向导 保留 + 重复双清单 忽略大小写 / 空格 AI 去重建议

如何操作

  1. 上传包含重复记录的 Excel 文件。
  2. 选择匹配方式:只按几个关键列判断,还是要求整行完全相同。
  3. 指定重复时保留首条还是末条。
  4. 点击开始去重,可分别导出「保留结果」和「被移除的行」。

适用场景

客户名单去重

按手机号或邮箱清理 CRM、表单里重复录入的客户,保留唯一联系方式。

订单记录清洗

识别并移除电商平台或 ERP 系统中因重复导出产生的冗余订单行。

最佳实践

文件准备

关键列最好先去空格、去不可见字符,必要时先用批量清理处理一次。

数据安全

本地处理,被移除的行会单独导出,便于审计和回溯。

匹配策略

关键列应能代表「同一条记录」;如需整行完全一致才去重,可选择全字段匹配。

大小写与空格

根据数据情况勾选「忽略大小写」「忽略空格」,避免格式差异导致漏匹配。

常见问题

去重后原文件还在吗?
原文件不会被修改,下载的是新文件。
能恢复被删的行吗?
被移除行会单独导出为另一个文件,可保留备查。
关键列怎么选?
选择能唯一标识记录的列或列组合,如手机号、身份证号、订单号。
文件很大(几百 MB)能去重吗?
可以。超过 200 MB 会自动切换为流式模式:逐行读取、不把整张表读进内存, 内存占用与文件大小基本无关,也不会出现「Array buffer allocation failed」。代价是输出为 CSV (保留行与被移除的行各一份,带 BOM,Excel 直接打开不乱码),列宽、背景色等样式不保留。
「保留最后一条」为什么要跑两遍?
流式处理拿不到「后面还有没有同键的行」,所以第一遍只记录每个键最后出现的位置, 第二遍据此输出。进度条会把两遍合起来算,第一遍跑完是 50%。

把重复的表格活,交给浏览器

选一个工具 → 拖入文件 → 下载结果。全程在你自己的浏览器里跑完,文件不出本机,也无需注册登录。

处理中…