TXT文件去重与合并

批量处理TXT文件，去除重复行内容，并支持将多个文件合并为一个。

BUG反馈

【浏览器执行模式】 ：您的所有数据均在浏览器中处理，不会上传服务器，数据安全有保障。不放心的，可等待页面加载完成后 断网使用！（需提前登录账号）

【速度及稳定性】 ：处理速度由您的机器配置决定。由于浏览器差异，少数工具可能出现无法使用或异常：请使用：软件版工具

工具加载中，请稍等...

如无法加载或使用，请下载本地工具：https://tools.yikeaigc.com/

工具使用

返回旧版工具

此工具有软件版，功能更强大，更稳定前往软件版

请先在“处理设置”中确认规则，再点击开始处理。 支持粘贴文本、批量选择TXT文件、合并、逐文件去重、合并后去重；选择多个文件时仅展示前20个，处理会覆盖全部文件。

1文本输入

文本框适合临时内容处理；如要批量处理多个文件，请切换到右侧文件区域并在设置中选择“所选文件”。

2文件输入

点击选择文件，或将TXT文件拖拽到这里 支持 .txt、.log、.md、.csv、.json 等文本文件；不会上传到服务器。

当前操作会读取浏览器中的文本或文件内容，并按已设置的规则处理。请先确认“处理设置”，再开始处理。

准备处理... 0%

处理文件

原始行数

输出行数

删除重复

4处理明细

文件/来源	原始	输出	删除	状态
暂无结果

处理完成后会显示前20条明细，未展示的文件同样会被处理。

5结果预览

结果预览最多显示部分内容，下载文件会保留完整处理结果。

使用说明

软件使用说明

选择输入内容：可在文本框中粘贴TXT内容，也可选择多个TXT文件进行批量处理。文件列表只展示前20个，其余文件会参与处理。
确认处理范围：在“处理设置”中选择处理文本框内容、所选文件或自动判断。有文件时自动判断会优先处理文件。
选择处理模式：
- 逐文件去重：每个文件独立删除重复行，输出文件名保持原文件名；遇到重名会自动加数字区分。
- 合并后去重：先合并多个文件或文本内容，再对合并结果统一删除重复行。
- 仅合并：按顺序合并内容，不执行重复行删除。
配置去重规则：可设置保留首次、保留末次、重复组全部删除，并可选择大小写、空白、空行、标点、全角转半角等比较规则。
设置输出参数：可选择LF或CRLF换行符，设置合并文件间隔、输出文件名、是否添加UTF-8 BOM、是否添加文件分隔标记。
开始处理并下载：点击“开始处理”后查看统计、明细和预览。逐文件处理会生成ZIP压缩包，合并模式会生成TXT文件。

常见问题

答：逐文件去重会分别处理每个TXT文件，适合保留各文件独立结果；合并后去重会先把内容汇总到一起，再统一删除重复行，适合整理名单、关键词、日志等跨文件数据。

答：默认按整行内容完全一致判断。也可以在设置中选择忽略大小写、忽略首尾空白、压缩连续空白、忽略常见标点或全角转半角，让不同格式的相近内容按同一规则比较。

答：会。工具提供空行保留、空行只保留一行、删除空行三种方式；大小写也可以选择区分或忽略。处理前请先根据数据用途确认规则。

答：逐文件处理时会尽量保持原文件名。如果遇到同名文件，系统会在文件名后追加数字，例如 data.txt、data2.txt、data3.txt，避免压缩包内文件互相覆盖。

答：处理耗时与设备内存、CPU和文本总量有关。文件较大时可分批处理；如内容达到GB级，建议减少单次文件数量，并关闭占用资源较多的程序。

答：可在“文件编码”中手动选择UTF-8、GBK、GB18030、Big5或UTF-16 LE。中文TXT常见编码为UTF-8或GBK，切换后重新处理即可。

TXT文件去重与合并

工具加载中，请稍等...

工具使用

1文本输入

2文件输入

1处理范围与模式

2去重规则

3输出设置

4处理明细

5结果预览

使用说明

软件使用说明

常见问题

TXT文件去重与合并

工具加载中，请稍等...

工具使用

1文本输入

2文件输入

1处理范围与模式

2去重规则

3输出设置

4处理明细

5结果预览

使用说明

软件使用说明

常见问题

问：逐文件去重和合并后去重有什么区别？

问：重复行按什么规则判断？

问：空行和大小写会影响结果吗？

问：多个文件同名时结果如何命名？

问：文件较大或数量较多时怎么处理？

问：出现乱码应如何处理？

同类工具推荐

PDF每页盖章工具

文档字数统计工具

PDF添加图片工具

在线文章自动排版工具

HTML标签清除工具

PDF指定页面提取为图片

列表比较工具

字幕格式批量转换工具

OFD压缩工具

文本格式化工具