文本模糊去重 · 相似行合并 Pro
> 定位：不只是完全相同：按相似度阈值（默认 0.90）把「基本一样」的行合并，例如“客户名称A”与“客户名称A ”或一字之差。输出合并明细供核对。本地执行、零出网。触发：模糊去重、相似行合并、文本相似度去重。
> 本地运行声明：核心引擎随包本地执行（scripts/main.py），只读处理目标、不修改源文件；用户文件内容不上传；唯一出网目标 = 官方 402 计费端点，仅用于按次计费验付。计费经官方 402 通道按次结算。
一、触发关键词
模糊去重 / 相似行合并 / 文本相似度 / 重复识别
二、能力清单
difflib 相似度比对；阈值可调（0.5-1.0，默认 0.90）；输出每条被合并行的相似度与保留行；单文件最多 3000 行（O(n²) 防超时）
三、怎么用
python scripts/main.py 名单.txt --p threshold=0.92 --payment-proof <凭证>
参数：--p key=value（业务参数，可多次）｜--out <csv>｜--manifest <csv>｜--recursive｜--payment-proof <凭证>
四、样例（输入 → 输出）
$ python scripts/main.py 名单.txt --p threshold=0.9
[OK] 名单.txt lines_in=10 lines_out=8 merged=2
汇总：共 1 件，成功 1，失败 0，跳过 0
五、结果与统计
- 逐件一行结果 + 末行汇总
共 N 件，成功 a，失败 b，跳过 c --manifest可导出 CSV 台账；不指定则不写任何文件- 退出码：全部成功 0；有失败 1；用法错 2；未携付款凭证 3
六、常见问题与排查（FAQ）
Q1 阈值怎么选？
0.95 很保守（只并几乎一样的），0.85 激进（容易误并）。建议先 0.92 试，看 merged 明细再调。
Q2 为什么限 3000 行？
模糊比对是两两比较（O(n²)），行数一大就慢。大名单请先用行去重再模糊去重。
Q3 合并后保留哪条？
保留先出现的原行，被合并的行列在 merged 里（含相似度），可人工复核。
Q4 能按字段而不是整行比对吗？
不能，本件按整行文本比对。按手机号/身份证号去重请用高档件。
Q5 会误合并不同人吗？
有可能（同姓名的相似行）。所以输出 merged 明细供你核对，不静默删。
Q6 能批量多文件吗？
能，逐件处理；每件单独给阈值与明细。
七、最佳实践
- 先小样再全量：拿 1 个文件跑通、看结果结构，再整批。
--manifest留台账：批量场景存一份 CSV，日后可回溯处理过哪些件。- 看汇总行：失败/跳过不为 0 就翻上面的明细，别只看成功数。
- 源文件安全：本件不修改源文件；输出另写。
- 参数写错会怎样：
--p的键值写错会直接报中文错误并跳过该件，不会产出半成品。
八、功能边界（不支持项）
不做字段级/结构化去重；不做拼音或语义相似（只做字符串相似度）；单文件上限 3000 行
九、计费与结算契约（官方 402 计费通道 · 按次结算）
- 本件按次计费 ¥0.99/次，经官方 402 计费通道按次结算；请求未携有效付款凭证时返回 402 与本次账单（含金额、订单号、官方支付地址）。
- 买家完成支付后携付款凭证重试同一调用，计费端点验付通过后履约；请求体含由真实参数派生的确定性序号，同参数重试命中同一订单（幂等），不重复计费。
- 唯一出网目标 = 官方 402 计费端点；仅用于按次计费验付；请求体只含结构化参数摘要，不含用户文件内容。
十、按次权益与交付说明
- 单次调用即完整功能：不存在功能阉割的"试用态"。
- 按次调用不交付明文：不交付脚本源码与内部实现；需源码级交付请走高档件通道。
- 调用计数口径：一次调用传入多个文件仍计 1 次；参数错误未产出结果不计次；重复执行 N 遍各计 N 次。
十一、更新承诺与版本变更
自交付日起 12 个月内修复 Bug（复现用例由使用者提供）。
v1.0.0 首发：功能如上；本地执行、零出网、只读不改源文件。
十二、中→高 CTA
> 需要跨字段处理、结构化解析或带联网校验的场景 → 高档件。
十三、四防声明
- 防泄露：无密钥、无私有数据、无后门；引擎随包本地执行，包内无支付调用脚本，除唯一出网目标外无任何出网调用。
- 防转发：请从官方渠道获取；转发请保留本声明。
- 防破解：无服务端依赖；篡改重打包与本源件指纹不符。
- 防抄袭：原创性指纹由开发方留存备查，不随包发布（AS-IS）。
十四、免责与责任
本工具仅提供操作辅助与流程指引，不承诺任何效果或收益；因使用本工具产生的任何直接或间接损失，责任由使用者自行承担；在法律允许的最大范围内，开发者不以任何方式承担责任（法律强制规定的责任除外）。按现状（AS-IS）提供，输出结果请抽查后再用于下游。
