URL批量筛选处理工具教程

URL批量筛选处理工具用于从文本内容中批量提取网址，并按域名、后缀、协议、关键词和去重条件整理结果。页面支持文件、文件夹、粘贴文本和示例数据等来源，适合整理日志、网页源码、JSON片段或已有网址清单。

工具名称：URL批量筛选处理工具

工具地址：

浏览器执行

URL批量筛选处理工具

从TXT文本批量提取URL，按域名、后缀和协议筛选去重。

开始使用

文件处理 581

处理方式：浏览器当前页面读取、解析和整理内容

适用内容：网址清单、日志、网页源码和JSON片段

工具功能介绍

1. 批量提取URL：从TXT、CSV、LOG、HTML、JSON等文本文件中识别网址。
2. 两种解析方式：混合文本可提取全部URL，整理好的网址清单可按每行一个URL处理。
3. 输出内容选择：可输出根域名、完整域名、协议+域名、完整URL、原始片段或域名后缀。
4. 协议筛选：支持不限协议、仅保留HTTPS或仅保留HTTP。
5. 后缀过滤：可不按后缀过滤，也可只保留或排除选中的常用后缀和自定义后缀。
6. 主机与关键词规则：支持过滤本地主机、保留IP地址、移除开头的www.，并按域名或路径关键词筛选。
7. 去重和排序：支持全局去重、每个文件内去重或不去重，并可按原始顺序或字母顺序整理。
8. 多种结果格式：可输出TXT列表、CSV明细或JSON明细，并设置多列分隔符。

使用前准备

• 准备包含网址的TXT、CSV、LOG、HTML或JSON文本文件，也可以准备一个包含这些文件的文件夹。
• 如果不使用文件，可准备网址清单或含网址的整段文本，粘贴到页面文本框。
• 先判断文本类型：混合日志、网页源码和JSON片段适合“从文本中提取全部URL”，每行一个网址的清单适合“按每行一个URL处理”。
• 需要后缀过滤时，可使用页面列出的常用后缀，也可以填写类似“.com,.net,.com.cn”的自定义后缀。

操作步骤

1. 打开工具并选择数据来源

   打开工具页面后，向下找到“工具使用”区域。初始显示“数据来源”页：可以点击“选择文件”添加文本文件，也可以点击“选择文件夹”批量读取；不准备文件时，在右侧文本框粘贴网址内容，再点击“使用粘贴内容”。示例数据按钮仅用于查看页面流程。

   

2. 设置解析、筛选和去重规则

   进入“筛选设置”页后，先选择提取模式、文本编码和协议筛选，再勾选需要的输出内容。随后设置后缀过滤方式、常用或自定义后缀，以及域名包含、域名排除和路径包含关键词。底部可以选择去重范围、去重依据和结果排序。

   

3. 设置输出结构和结果格式

   进入“输出设置”页，先选择逐文件输出、按结果类型分文件夹输出或合并为一个结果文件，再选择TXT列表、CSV明细或JSON明细。需要多列结果时，继续选择制表符、英文逗号、空格或竖线分隔符；同时根据需要设置输出协议、完整URL参数和空结果文件处理方式。

   

4. 开始处理并查看结果

   确认数据来源、筛选设置和输出设置后，进入处理页面，点击“开始处理”。页面会显示扫描文件、发现URL、符合条件、去重移除和输出文件等统计，并在“预览 处理结果”和“日志 处理过程”区域展示状态。处理完成后，按照页面提供的结果操作保存文件。

   

主要参数说明

结果与保存

处理页面会用统计卡片显示扫描文件、发现URL、符合条件、去重移除和输出文件数量；下方表格用于查看来源文件、输出内容、后缀和状态，右侧日志用于查看处理过程。确认预览内容和状态后，按页面提供的结果操作保存处理后的文件。

常见问题与使用建议