【浏览器执行模式】 : 您的所有数据均在浏览器中处理,不会上传服务器,数据安全有保障。不放心的,可等待页面加载完成后 断网使用!(需提前登录账号)
【速度及稳定性】 : 处理速度由您的机器配置决定。由于浏览器差异,少数工具可能出现无法使用或异常:请使用:软件版工具
工具使用
先设置,再处理 CSV 重复数据
支持粘贴数据、单个文件和多文件批量去重,可按全部列或指定列判断重复,并导出唯一数据、重复数据或批量 ZIP。
CSV / TXT
指定列匹配
批量打包
设置可保存
导入 CSV 数据
单文件模式可上传一个文件或直接粘贴 CSV;批量模式可一次选择多个文件,列表仅展示前 20 个,处理会覆盖全部文件。
选择或拖入 CSV 文件
支持 .csv、.txt,文件内容仅在本地读取。
已选文件
0 个文件
数据预览
-
配置解析、去重和输出
请先完成这些设置,再执行去重。单文件可解析后勾选列名,批量模式也可按列序号匹配。
去重依据
指定列模式下,只比较选中的列或输入的列序号
选择判断重复的列
批量文件列名可能不同,使用列序号更稳定;留空则按全部列匹配。
结果预览与下载
单文件可以分别下载唯一数据和重复数据;批量文件会保留原文件名,重名时追加数字,并打包为 ZIP。
0文件数
0原始数据行
0去重后行数
0重复行数
还没有处理结果。请先导入数据、确认设置,再点击“开始去重”。
单文件结果
-
唯一数据预览-
重复数据预览-
移除原因-
批量处理结果
-
| 文件名 | 原始行 | 去重后 | 重复行 | 重复率 | 状态 |
|---|
使用说明
软件使用说明
- 导入CSV数据:选择单文件模式上传CSV/TXT文件,或直接粘贴CSV内容;批量模式可选择多个CSV/TXT文件,界面只展示前20个文件,处理时会包含全部文件。
- 解析数据:设置输入分隔符、文件编码、是否首行为表头、是否去除单元格首尾空格,然后点击“解析预览”查看列名和数据行。
- 设置去重依据:
- 全部列匹配:整行所有字段一致时判定为重复。
- 指定列匹配:按邮箱、手机号、客户ID等关键列判断重复;批量模式可填写列序号。
- 选择保留策略:
- 保留首次出现:保留重复组中较早出现的一行。
- 保留末次出现:保留重复组中较晚出现的一行。
- 删除所有重复项:重复组内的数据行全部移入重复数据结果。
- 调整高级选项:可设置大小写处理、连续空白合并、忽略标点、空值处理、输出分隔符、是否导出重复数据、是否添加UTF-8 BOM等参数。
- 保存设置:常用规则可点击“保存设置”,下次打开工具时自动恢复。
- 开始处理并下载:点击“开始去重”后查看统计和预览结果;单文件可分别下载去重结果和重复数据,批量文件可下载ZIP压缩包。
常见问题
答:全部列匹配要求整行每个字段都一致才算重复;指定列匹配只比较选中的关键列,例如只按邮箱列判断客户是否重复。
答:保留首次出现适合保留原始记录;保留末次出现适合保留更新后的记录;删除所有重复项适合只留下没有重复关系的数据。
答:处理后的文件名会尽量保持原文件名;如果多个文件重名,系统会在文件名后追加数字,避免ZIP包内文件互相覆盖。
答:可以。在解析设置中将文件编码改为“GBK / GB18030”,再解析预览即可。若出现乱码,可切换编码后重新解析。
答:取决于“大小写处理”设置。勾选“不区分大小写”时,ABC和abc会按相同内容比较;取消勾选后会按不同内容处理。
答:处理完成后可切换到“重复数据”预览,也可以点击“下载重复数据”导出CSV。批量模式需勾选“同时导出重复数据”。