缓存录制与回放
每次可缓存的调用按请求哈希写入 .evalcore/cache.db（SQLite），重跑时从缓存回放，实现免费、离线、确定性结果，缓存文件可像 VCR 磁带一样提交。
官方说明 ↗
价格免费
平台Web / CLI / macOS / Linux / API
归类AI 智能体
收录2025-01-01
复核2025-01-01
编辑评分
4.2 / 5
★★★★☆
EvalCore编辑总结
EvalCore 是一款面向 AI 应用的离线测试工具，把每次模型调用记录到本地 SQLite 缓存文件中，之后在 CI 里离线回放比对。它无需 SDK，一个二进制文件即可运行，支持 OpenAI、vLLM、Ollama 及任何 OpenAI 兼容网关，也支持自定义 REST API、shell 命令和 OTel/OpenInference 追踪。首次真实调用约 843 毫秒/条、成本约 $0.0038，回放阶段为 0 毫秒/条、$0。官网未公开具体定价档位。
EvalCore是什么？
EvalCore 是一款面向 AI 应用的离线评测与回归测试工具，核心思路是先把 AI 的实际行为记录下来，之后每次改动都拿新结果和记录比对。它不需要引入 SDK，也不需要搭建测试框架，只有一个无依赖的二进制文件。
它在使用上把评测套件描述为数据：用一个 YAML 文件指定目标应用、数据集和评分器。任何能通过 HTTP 或 shell 交互的程序都可以作为目标，因此应用本身用什么语言编写不影响使用。官方给出的目标是模型 gpt-4.1-mini，数据集为 cases.jsonl 文件，评分器可以是关键词包含判断（如 refund），也可以是 rubric 形式的裁判打分。
对普通开发者，首次运行 evalcore run evals.yaml 会调用真实模型，把每次请求和响应写入本地 SQLite 缓存，token 和成本会出现在汇总里；缓存文件可以提交到代码仓库。对团队，CI 里用 --cache replay 回放缓存，不联网、不需要 API 密钥、结果确定，用 --baseline main 只对回归失败，并以退出码作为 CI 门禁。
EvalCore核心功能
套件即数据
无需 SDK 和测试框架，用 YAML 指定目标、数据集和评分器。任何讲 HTTP 或 shell 的程序都能作为目标，应用语言无关。
四种缓存模式
--cache 可选 auto（默认，命中回放、未命中录制）、replay（仅缓存，未命中即失败且不联网，适合 CI）、live（总是调用并重新录制），以及配套的日常开发模式。
官方说明 ↗CI 回归门禁
每个 PR 回放缓存，--baseline main 只在出现回归时失败，CI 以退出码作为门禁。未录制过的用例会明确报失败，而不是静默发起真实调用。
成本与耗时可见
首次真实运行约 843 毫秒/条、成本约 $0.0038；回放阶段 0 毫秒/条、$0，且回放仍会报告记录的 token 用量与成本，花费始终可见。
广泛的目标兼容
除 OpenAI 外，还支持 vLLM、Ollama、任意 OpenAI 兼容网关、自有 REST API、shell 命令，以及 OTel / OpenInference 追踪。
零安装依赖
一个无依赖二进制，无遥测、无注册、无服务器。可用 cargo install evalcore 安装，没有 Rust 环境时也可用覆盖 macOS、Linux 和 CI runner 的预编译二进制。
EvalCore值不值得用？
当你需要在改动提示词、换模型或升级依赖后，快速确认 AI 行为有没有退化时，EvalCore 值得用：缓存回放让 CI 里的每次评测都离线、免费且结果确定，--baseline 只对回归报警，退出码可直接做门禁。它尤其适合已经把评测用例沉淀成数据集、又不想维护测试框架的团队。但它的强项是回归比对，不是从零搭建评测体系；官网未公开价格与免费额度上限，长期使用的成本归属需要自行确认。如果你的场景根本不涉及模型调用、只做静态检查，这类工具就没有必要引入。
建议选它的情况
- 改动提示词或换模型后需要稳定回归比对的团队
- 希望 CI 里评测不产生 API 花费和网络依赖的工程团队
- 使用非 Python 语言或自建 REST/shell 服务的 AI 应用
不建议选它的情况
- 只想快速做一次性效果试跑、不需要沉淀用例的场景
- 需要对线上流量做实时监控而非离线比对的团队
EvalCore使用建议
入门先把路子走对
- 先跑一次录制设置 OPENAI_API_KEY 后执行 evalcore run evals.yaml --cache auto，第一次会真实调用模型并把响应写入 evals.yaml 同级的 .evalcore/cache.db。
- 把缓存提交到仓库缓存文件是经过审阅的工程产物，用 git add .evalcore/cache.db 提交，CI 才有可回放的基线。
- CI 切到 replay 模式CI 里使用 evalcore run evals.yaml --cache replay，只读缓存、不联网、不需要密钥；遇到未录制的用例会明确失败。
进阶省时间也省钱
- 用基线只报回归加 --baseline main 让运行只在相对主分支出现退化时失败，避免无关波动打断流程，退出码可直接作为门禁条件。
- 借缓存做预演日常开发用 auto 模式即可命中的请求离线回放、未命中的请求照常录制，既省花费又不影响新用例的覆盖。
EvalCore适合谁用？
AI 应用后端团队
推荐改动提示词或模型后需要稳定回归比对，EvalCore 的缓存回放能让 CI 结果确定且零花费。
多语言技术栈团队
推荐应用不是 Python 或不想引入 SDK 时，只要目标讲 HTTP 或 shell 就能接入，语言不构成障碍。
个人开发者与副业项目
有条件一个二进制、无需注册即可起步，首次运行成本约 $0.0038/条；但长期使用成本与额度上限官网未公开，扩量前需先确认。
纯前端或静态项目
不推荐没有模型调用或可回放的请求，缓存录制与回放机制无法发挥价值，引入这类工具收益有限。
EvalCore优点和缺点
优点
- 缓存回放让 CI 评测完全离线、零 API 花费且结果确定
- 无 SDK、无测试框架，单个无依赖二进制即可运行
- 任何讲 HTTP 或 shell 的目标都能接入，语言无关
- 支持 OpenAI、vLLM、Ollama 及 OpenAI 兼容网关
- 缓存文件可提交，团队共享同一份行为基线
- --baseline 只对回归失败，退出码可直接做门禁
缺点
- 缓存未命中的用例必须先在本地录制，否则 CI 直接失败
- 核心是离线回归比对，缺少线上实时监控能力
EvalCore关键指标
EvalCore常见问题
EvalCore 收费吗，多少钱？＋
官网首页与记录回放指南均未公开具体定价档位与免费额度上限，目前可见的费用信息集中在运行成本：首次真实调用约 843 毫秒/条、成本约 $0.0038，回放阶段为 0 毫秒/条、$0。是否长期免费需以官方页面为准。
它和普通的单元测试或测试框架有什么区别？＋
普通测试断言代码逻辑，EvalCore 断言 AI 的行为。每次调用被按请求哈希写入 .evalcore/cache.db，重跑时按字节回放，相同输入产生相同判定，不联网、不需要密钥、也不依赖会抖动的裁判模型。
回放模式在没有网络和 API 密钥的 CI 里能跑吗？＋
可以。使用 --cache replay 时只读缓存、不发起网络请求，也不需要 OPENAI_API_KEY。若某个用例从未录制过，回放会明确报出 cache miss 并让该用例失败，而不会静默发起真实调用。
支持哪些模型和目标？＋
官方说明支持 OpenAI、vLLM、Ollama、任意 OpenAI 兼容网关，也支持自有的 REST API、shell 命令，以及 OTel / OpenInference 追踪。示例中的目标配置为 openai-compatible 类型、模型 gpt-4.1-mini。
安装复杂吗，需要 Rust 环境吗？＋
一个无依赖二进制，无遥测、无注册、无服务器，可用 cargo install evalcore 安装。没有 Rust 工具链时，官方提供覆盖 macOS、Linux 和 CI runner 的预编译二进制。
EvalCore竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| EvalCore本工具 | 4.2 | 免费 | 缓存录制与回放；套件即数据；四种缓存模式；CI 回归门禁 | Web / CLI / macOS / Linux / API |
| Humalike | — | 未标价 | 面向类人 AI 智能体的行为 API | API |
| Hyperlink by Nexa AI | — | 未标价 | 离线，私密的 AI 助手，用于文档搜索与理解 | — |
| LAM | — | 未标价 | AI 学习电脑应用中的人类行为 | Web |
| BaseRock.ai | — | 需联系销售获取报价 | 一个 AI 驱动的软件测试平台，自动化测试生成、执行和维护 | SaaS / 自托管 / Web |
| testRigor | — | 提供 Demo 与免费试用 | 基于 AI 的测试自动化工具，使用简单英语简化软件测试 | Web / iOS / Android |
