输出质量打分
把提问、模型回答和可选的参考资料一起提交，返回对该条回答的评分结果，用于判断这次输出是否达到可交付的标准。
价格免费 + 付费
平台API
归类大模型与开发平台
收录2026-10-11
复核2026-10-11
编辑评分
4.4 / 5
★★★★☆
Selene API编辑总结
Selene API 是 Atla 推出的评测接口，用来给 AI 应用生成的回答打分并给出可操作的改进反馈。它面向做对话、写作、检索问答等生成式应用的开发团队，把「回答好不好」这件事变成可以调用的接口。相比人工抽检，它更适合接入到持续的开发流程里，对新版本反复跑同一批评测样例。它的定位是评测环节的工具，不负责训练模型本身；如果团队只是偶尔做一次评估，投入产出比未必划算。
Selene API是什么？
Selene API 由 Atla 开发，属于大模型与开发平台方向的产品，核心用途是评估 AI 应用的输出质量。它把评测做成可调用的接口：开发者把用户的提问、模型给出的回答，以及可选的参考信息传给接口，拿回一个评分和对这条回答的具体反馈。
它服务的是这样一个场景——团队上线了基于大模型的问答、客服或写作功能，需要知道改动提示词、换模型、调整检索策略之后效果是变好了还是变差了。人工逐条看太慢，用固定规则的脚本又覆盖不了语义层面的问题，评测接口就是补这个位置。
常见的接入方式是把评测放进开发流程：对同一批测试问题跑新版本，对比评分变化，再决定是否上线。对独立开发者，它适合用在产品冷启动阶段快速过滤明显不合格的回答；对团队，它更适合当成持续的质量闸门，和人工复核配合使用，而不是完全替代人的判断。
Selene API核心功能
可读的改进反馈
除了分数，还会指出回答里具体的问题所在，让开发者知道该改提示词、补检索上下文，还是换模型，而不是只拿到一个数字。
评测接入开发流程
以接口形式提供，方便写进已有的测试脚本或持续集成流程，对同一批问题反复跑，观察每次改动带来的评分变化。
适配对话类应用
典型的用法是评测量产型问答场景，比如客服机器人、知识库问答和辅助写作，这些场景的答案质量难以用固定规则判定。
版本对比评测
把同一批测试问题的旧回答与新回答分别提交，通过两次评分差异判断本次改动的方向是否正确，降低上线后的返工概率。
Selene API值不值得用？
当你的产品已经跑起来、需要判断每次改动是让回答变好还是变坏时，Selene API 值得放进开发流程，它把主观的「答得怎么样」变成可对比的评分。当团队只是想做一次性的效果摸底，或者还没有稳定的测试问题集，先花时间把评测样例整理出来更实际。它替代的是人工抽检里重复劳动的部分，涉及语气、合规和品牌调性的判断仍然要人来定。
建议选它的情况
- 产品已有稳定用户流程，需要为每次改动做效果把关的团队
- 客服、知识库问答这类答案质量无法用规则脚本判定的场景
- 希望把评测自动化、接进持续集成流程的工程团队
不建议选它的情况
- 还没整理出固定测试问题集、只打算做一次性效果摸底的团队
- 希望评测工具直接帮自己训练或微调模型的需求
Selene API使用建议
入门先把路子走对
- 先整理测试问题集不要拿线上的随机问题去评测。先挑出十几到几十条有代表性、覆盖主要场景的问题固定下来，后续每次改动都跑同一批，分数才有可比性。
- 从最痛的场景入手先评测你收到投诉最多的那类问题，比如答非所问或编造事实。把有限的评测精力放在已经有明确反馈的地方，收益最直接。
- 对照人工判断校准先人工给测试集里的答案打一遍分，再和接口返回的结果对照。如果两者差异大，说明评测维度和你的业务标准没对齐，要先调整标准。
进阶省时间也省钱
- 一次只改一个变量换模型、改提示词、调检索参数不要同时做。每次只动一处再跑评测，否则分数变化了也说不清是哪个改动带来的。
- 把评分当作趋势看单次评分受样例波动影响大，把它当作版本之间的对比指标更可靠。记录每次改动的分数走向，比盯住某一个绝对分数更有意义。
- 评测不等于上线标准评分高不代表可以全量放开。对涉及事实准确性和合规的回答，评测结果只能作为筛掉明显差答案的第一道关，最终判断仍要人工复核。
Selene API适合谁用？
AI 应用开发团队
推荐产品已经上线、需要持续迭代提示词和模型选型的团队，把评测当成版本上线的质量闸门。
对话式客服开发者
推荐客服机器人的回答需要判断是否答到点上，规则脚本覆盖不了语义问题，评测接口能补上这一层。
独立开发者
有条件个人项目里用来快速筛掉明显不合格的回答，但如果没有稳定的测试问题集，评测结论参考价值有限。
需要训练模型的一方
不推荐评测接口只判断输出好坏，不参与模型训练与微调，指望用它提升模型本身能力的团队方向不对。
Selene API优点和缺点
优点
- 把主观的回答质量转成可对比的评分，便于版本之间做判断
- 反馈不只是分数，还指出具体问题，方便定位到提示词或检索环节
- 以接口形式提供，能直接写进已有的测试脚本与开发流程
- 适用于答案难以用固定规则判定的问答与写作场景
缺点
- 评测维度与业务标准的对齐需要自己先摸索，初期结果未必贴合
- 评测质量依赖测试问题集的代表性，样例选偏了结论也会偏
- 无法替代人工判断，语气、合规和品牌调性仍要人复核
- 官方未公开具体价格与免费额度，选型前需要先确认成本
Selene API常见问题
Selene API 是做什么的？＋
它用来给 AI 应用生成的回答打分并给出反馈。开发者把提问、模型回答和可选的参考资料提交上去，拿到评分和改进提示，用来判断这批回答能不能交付，或者新版本比旧版本是变好还是变差。它处理的是评测环节，不参与模型训练。
和人工评测相比，它适合用在哪一步？＋
适合放在人工之前做第一道筛。人工逐条看回答速度慢，评测接口可以先把明显不合格的回答挑出来，人只需要复核剩下的部分。对于语气是否得体、是否触碰合规边界这类判断，仍然建议由人来定，接口的结果只当参考。
怎么接入我现有的开发流程？＋
它是接口形式，常见的做法是把评测调用写进已有的测试脚本或持续集成流程里。每次改完提示词或换了模型，用同一批固定测试问题跑一遍，记录评分变化再决定是否上线。这样做的好处是版本之间的对比有统一的尺子。
用它评测需要提前准备什么？＋
最重要的是固定一批测试问题。样例要覆盖产品的主要使用场景，包括你收到投诉最多的那几类问题。如果每次评测都换一批问题，分数就没有可比性，也就看不出改动到底有没有效果。样例准备好之后，再考虑如何把评测结果和人工判断对齐。
Selene API竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Selene API本工具 | 4.4 | 免费 + 付费 | 输出质量打分；可读的改进反馈；评测接入开发流程；适配对话类应用 | API |
| MC-Bench | — | 未标价 | 通过 Minecraft 评估 AI 的表现 | — |
| H2O EvalGPT | — | 未标价 | H2O Eval Studio 是一款用于评估检索增强生成和大语言模型应用的模块化工作室 | Web |
| Procyon AI Computer Vision Benchmark | — | 为年度站点授权，未公开具体价格 | 用于评估 Windows PC 或 Apple Mac 上 AI 推理引擎性能的基准测试工具 | Windows / Mac |
| Patronus GLIDER | — | 未标价 | 用于评估文本、对话和 RAG 设置的通用评估模型 | — |
| FACTS Grounding | — | 未标价 | 用于评估大型语言模型事实性的最新基准 | Web / Kaggle |
