文本去重
一句话定位:粘贴一份杂乱的多行列表,立即得到只保留唯一行的结果,并显示去掉了多少条重复。
适用场景
- 制作商品标题或广告前清洗关键词列表
- 合并多份导出后给 SKU / ASIN 列表去重
- 群发前整理邮箱或收件人名单
输入项
| 字段 | 说明 |
|---|---|
| 文本 | 多行文本,每行一项 |
| 去除空格 | 去掉首尾空格,让 " sku" 与 "sku" 视为相同 |
| 忽略大小写 | 让 "SKU-001" 与 "sku-001" 视为重复 |
输出
- 去重后的内容(可直接复制)
- 去除的重复条数
- 唯一行数量
操作步骤
- 访问 https://www.niceggie.com/tools/text/deduplication
- 把列表粘贴到文本框,每行一项
- 按需开启 去除空格 与 忽略大小写
- 复制去重结果,并查看去除条数与唯一行数量
先去空格再去重
表格导出时残留的行尾空格或制表符,是“明明一样却没被识别为重复”的最常见原因。建议先开启 去除空格,如果你的编号不区分大小写,再开启 忽略大小写。
常见问题
去重后会打乱原来的顺序吗?
不会。每个唯一行会保留它第一次出现时的位置,只删除后面的重复项,列表顺序保持不变。
会删掉空行吗?
重复的空行会合并为一行(若开启 去除空格 则会被清除)。段落之间有意保留的单个空行会被保留。