长文本自动瘦身防卡顿引擎(付费专业版)
解决什么问题
智能体卡死的本质:上下文窗口被一次塞爆。本引擎把长文在本地先剪枝成小份,让智能体每次只吃一小口——卡顿与截断即消失。矩阵式打法:同一引擎可部署到黑马/Coze/Dify/任意Agent前置,一次购买处处可用。
输入
| 字段 | 必填 | 说明 |
|---|---|---|
文本文件路径 或 - |
是 | .txt/.md/聊天导出/网页正文,几十KB~几MB |
| 模式 | 是 | summarize / extract / chunk / batch |
| 参数 | 按模式 | max-len / top / size / 输出目录 |
工作流(四模式)
# ① 瘦身压缩:默认压到 1500 字,自动保留标题/列表/关键句
python3 longtext_slim_pro.py 长文.txt --mode summarize --max-len 1500
# ② 要点提取:按关键度取 Top N 条原文原句
python3 longtext_slim_pro.py 长文.txt --mode extract --top 8
# ③ 分块投喂:切成 ≤800 字/块并编号,逐块喂智能体,块间可保留"继续"
python3 longtext_slim_pro.py 长文.txt --mode chunk --size 800
# ④ 批量:目录内所有 .txt/.md 一键瘦身到 out/
python3 longtext_slim_pro.py 批量目录 --mode batch --max-len 1200 --out ./out
任意模式加 --json 输出结构化 JSON,可直接接入自动化流水线。
专业版独有能力
| 能力 | 说明 |
|---|---|
| 分块投喂 | 块数+每块字数+编号;逐块喂入不丢信息 |
| 全量 JSON | stats/要点/块/压缩比/质量门全结构化,供程序消费 |
| 批量处理 | 目录级多文件一键瘦身,命名 原名_slim.txt |
| 完整性校验 | chunk 模式所有块拼接回原文非空即可投喂,质量门 exit code 卡流水线 |
| token 估算 | 字符数→估算 token(中英混合按 1.5 字/token),喂前预判会不会超窗 |
硬性规则
- 绝不编造:全部输出为原文已有句子/数字的选取与切分,不做扩写、不改写、不生成新事实。
- 标题/列表/表格行整行保留;正文句按"含数字、含目标结论风险信号词、长度适中"排序保留。
- 压缩比、块数、token 估算如实输出;
--max-len超限自动从最不关键处截断。 - 本引擎只做形态转换,不提供金融/医疗/法律等专业判断。
示例
python3 longtext_slim_pro.py 群聊导出.txt --mode chunk --size 800 --json
# → {"block_count": 654, "blocks": [...], "stats": {"chars": 500000, "est_tokens": 333333}}
# 逐块喂给黑马Agent:每块800字,卡死消失
部署建议(矩阵式)
- 本机前置:喂任何大模型前先跑
--mode summarize。 - Agent 工具化:把脚本注册为黑马/Coze/Dify 的自定义工具节点,长文自动先瘦身再进模型。
- 定时批处理:接入 cron,对每日导出的长日志/长报告自动瘦身归档。