名单文本去重·保序(快速版)
> 定位:单功能做到极致——客户名单/通讯录/采集列表一堆重复,手动剔到吐;一键保序去重、可选忽略大小写。 对标 SkillHub 高下载品类痛点(文本去重、名单去重、去重工具、重复行、客户名单去重、通讯录去重、数据去重)。
> 隐私:全部计算在本机完成,只读/不出网,数据零外传。
一、何时使用
- 见触发关键词:文本去重、名单去重、去重工具、重复行、客户名单去重、通讯录去重、数据去重。
负向清单(本件不做):超出单点范围的批量/修改类操作 → 升级对应标准/高档件(见第五节)。
二、怎么用
python scripts/main.py list.txt # 保序去重
python scripts/main.py list.txt --ci # 忽略大小写去重
| 参数 | 说明 |
|---|---|
| 文件路径(位置) | 待去重文本文件 |
--ci |
忽略大小写判重 |
三、判定逻辑(纯本地规则,不出网)
逐行读入 → 默认剥首尾空白+剔除空行 → 保序去重(保留首次出现);--ci 时先大小写折叠再判重 → 按原顺序输出唯一行。纯内存处理,不出网不落盘。
四、样例(轻量档质量闸:≥2 · 1 常见 + 1 边界)
常见样例(逐字取自 _selftest/run.py 实测)——输入文件内容 a / b / a / c / (空行) → 输出恰为 a b c(保序、空行剔除、重复剔除)。
边界样例:--ci 忽略大小写——A 与 a 视为同一行(自测第 2 断言 PASS)。
> 真实场景验证:真实 automation.log 11797 行实测——awk 独立实现比对,唯一行集合全等、开关有效。验证过程与裁判方法公开可复算(靶场 _real_verify_20261011.py)。
五、升档口子(强制)
本件只做单点检测/计算。遇到更复杂场景,结果页给出升级路径:
> 升级件:csv-data-cleaner(同族·表格数据清洗快速版,支持整表去重归一);模糊去重/跨文件合并去重→升人工处理
形成「轻量快检(免费·0元引流)→ 中档/高档」的引流闭环。
六、边界(严格遵守)
- 只读/不出网:不修改、移动、删除用户文件;无任何外部请求;
- 不猜:结果不确定时如实标注,不强行给唯一答案;
- 不越权:超出单点范围即升档,不硬撑。
<!--免责豁免开始-->
七、四防声明
- 防泄露:本件无密钥、无私有数据、无后门;全部逻辑即包内脚本,无隐藏文件。
- 防转发:本件为免费引流件,请从官方渠道获取,转发请保留本声明。
- 防破解:纯本地实现,无鉴权绕过面;篡改重打包与本源件指纹不符。
- 防抄袭:原创性指纹见 references/_fingerprint_evidence.md,AS-IS。
八、免责与责任(免责声明·豁免扫描区)
本工具仅提供操作辅助与流程指引,不承诺任何效果或收益;因使用本工具产生的任何直接或间接损失,责任由使用者自行承担;在法律允许的最大范围内,开发者不以任何方式承担责任(法律强制规定的责任除外)。
- 按现状(AS-IS)提供,不附带任何明示或默示保证;
- 平台规则/接口/页面变更可能导致部分功能失效,开发者无义务实时跟进;
- 输出结果仅供决策参考,重大事项(付费/合规/法律)须使用者自行复核。
<!--免责豁免结束-->