aiXcompact-4B开源：4B参数实现上下文压缩，API成本降97%

杨京丽是这篇报道的作者，李水青担任编辑。

11月11日，硅心科技（aiXcoder）宣布开源上下文压缩专用模型aiXcompact-4B。这家公司孵化自北京大学软件工程研究所，主攻AI编程。新模型参数规模只有4B，聚焦编程Agent的长程复杂研发任务，单张A100-40GB显卡就能完成私有化部署。

压缩上下文时，aiXcompact-4B会对编程Agent的历史轨迹做结构化处理。开发者最关键的需求、约束和决策会被原样留下；文件读取、代码搜索、测试运行等工具返回的结果则被精简；重复或已无参考价值的中间记录直接删掉。模型还会生成结构化任务摘要，后续重复输入带来的Token开销因此被压了下来。

据aiXcoder公布的数据，在Terminal-Bench基准测试中，把aiXcompact-4B接入OpenCode做上下文压缩测试，整体任务完成准确率与DeepSeek-V4-Pro持平。私有化部署场景下，针对特定任务的单次GPU推理成本比DeepSeek-V4-Pro低78%。

走API调用这条路时，按公开API费用估算，aiXcompact-4B单次上下文压缩请求的Token费用约0.019元。与DeepSeek-V4-Pro、GLM-5.3和Qwen3.8-Max的参考费用相比，分别低97.30%、97.08%和97.98%。单次API调用费用省下97%，高频上下文压缩由此多了一个轻量且经济的选择。

上下文被压缩后，Agent需要反复读取的历史内容也跟着变少。在目标任务场景下，aiXcompact-4B能把历史上下文平均压到原长度的25.89%，下一轮Agent调用因此有了充足的上下文空间。

开源地址：

https://github.com/aixcoder-plugin/aiXcompact-4B

一、智能体编程任务平均Token消耗417万，上下文压缩是成本控制关键

Claude Code、Codex这类AI编程工具开始承担更复杂的研发任务，Agent要不停读代码、调工具、跑测试，Token开销随之上扬。

一项基于OpenHands框架、覆盖8个前沿模型的研究显示，在SWE-bench Verified实验中，一个完整的智能体编程任务平均消耗约417万Token，是单轮代码推理的3500倍、多轮代码对话的1200倍，其中绝大部分是输入Token。

原因藏在Agent的工作方式里。比如给企业现有系统加一个用户注册功能，Agent得先摸清项目结构，找到用户管理和鉴权逻辑，然后改文件、跑测试，再照着报错继续调。代码、检索结果和执行日志在这个过程中不断进入上下文，成为后续工作的依据。同一批历史信息往往在多轮推理里被反复输入，执行步骤越多，重复输入累积的Token开销就越大。

成本之外还有别的麻烦。早期需求、关键约束和已经确认的技术决策混在大量中间记录里，Agent可能漏掉重要信息，也可能丢掉调试线索。

上下文压缩于是成了控制Agent运行成本、支撑长任务持续执行的重要工程环节。核心做法是从不断增长的Agent运行轨迹中留下关键信息、精简冗余内容，减少重复输入的Token消耗，把更多上下文空间留给当前代码、最新反馈和后续决策。

二、依靠结构化判别机制，信息筛选后形成摘要

编程Agent的工作流程大致是：开发者提出需求，Agent分析问题、调用工具，工具返回文件内容或执行结果。对需要持续执行任务的Agent来说，上下文压缩得在省Token和留关键信息之间找平衡。压得太少，上下文开销降不下来；压得太多，历史关键步骤可能丢失，代码信息和工具调用之间的结构关系也会被破坏。

aiXcoder的看法是，有效压缩既要理解信息内容，也要保住上下文之间的关系。aiXcompact-4B采用结构化判别机制，对历史轨迹生成三类处理决策。

第一类是保留关键原始信息。开发者的核心需求、关键约束和重要决策，都可能影响后续代码修改方向，aiXcompact-4B会完整保留这些原始消息，降低关键限定条件在改写中被弱化的风险。

第二类是精简工具返回结果。文件读取、代码搜索和测试运行常常返回大量内容，下一步工作可能只用得上其中一部分。aiXcompact-4B保留工具调用，用精简文本替换冗长的原始输出，既减少输入Token，也留下继续定位问题、修改代码所需的线索。

第三类是删除失去参考价值的记录。重复内容或不再需要的中间输出会被删掉，同时配套校验动作，检查其中的关键业务信息和调试信息是否已经保留在任务摘要中。

信息筛选完成后，模型还会生成结构化任务摘要，记录用户意图、关键技术信息、错误与修复过程，以及当前工作和待办事项。最终输出是一套可供Agent继续执行的消息序列，工具调用与返回结果的配对关系也维持不变。

从工作原理看，aiXcompact-4B具备判断信息价值的能力，能分清哪些信息不能丢、哪些可以精简、哪些已经没有必要，在减少重复Token消耗的同时，保留后续Agent完成任务所需的必要上下文与结构。

三、基于真实研发轨迹训练，4B模型上下文压缩评测接近DeepSeek-V4-Pro

aiXcompact-4B的判断能力，来自一条组合起来的训练技术路径：教师大模型蒸馏、4B学生模型LoRA微调，加上结构化压缩决策。

aiXcoder称，训练数据全部取自真实研发场景下的Agent运行轨迹。团队先做归一化处理、过滤筛选和压缩触发点采样，再由教师模型生成参考压缩决策。

这些参考结果经过样本校验与筛选，用于学生模型的专项训练，让它学会结合研发进度处理历史上下文，也学会在任务摘要中保留后续工作的依据。

技术分工上，蒸馏负责把教师大模型处理这类任务的能力搬到专用学生模型里；LoRA微调则针对压缩场景做适配。结构化决策还会进一步限定输出形式，好让模型能接上Agent的消息与执行流程。

看aiXcoder公布的上下文压缩专项评测：aiXcompact-4B规则综合分为0.7012，DeepSeek-V4-Pro为0.7332；信息保留规则分上，aiXcompact-4B是0.4981，DeepSeek-V4-Pro是0.4968。平均保留率方面，aiXcompact-4B达到25.89%，DeepSeek-V4-Pro为18.46%。

四、大小模型分工细化，适配企业级私有部署和工程落地

AI正一步步走进企业软件研发流程，各研发环节对模型能力的要求也在分化，模型分工因此有了继续细化的余地。怎么让不同模型各干更适合的活，既保住任务完成质量，又压住Token消耗、把算力用得更充分，是企业推进AI研发落地时要长期面对的问题。

围绕这一点，aiXcoder给出的方案是“大模型+小模型”协同：需求拆解、复杂逻辑推演和架构设计仍由大模型负责，边界比较清楚、调用又频繁的专项工作则交给专用小模型，以此压低企业的算力开销。

除aiXcompact-4B外，aiXcoder已经有多款小参数模型在手。软件研发方向上，面向代码生成与补全的有aiXcoder-7B，面向代码变更应用的有aiXapply-4B，面向Token消耗优化的有aiXpruner-4B。另外，aiXcoder即将推出aiXdecision模型，盯的是Agent决策环节，专注智能体执行过程中的判断与决策支持。

结语：上下文压缩模型拓宽复杂Agent任务边界

aiXcompact-4B的做法是：留下关键原始信息，精简工具返回结果，删掉没有参考价值的记录，把不断累积的历史上下文压下来，再生成结构化的任务摘要。这样，上下文压缩的成本就降下来了。

Agent要跑更长链路、更复杂的研发任务，上下文管理会直接影响Token成本和执行能不能连得上。上下文压缩模型如果能在砍掉冗余的同时，把需求、决策和调试线索留住，就有机会帮Agent绕开上下文开销设下的天花板，接下更多复杂场景。