同一天,OpenAI还公开了这项评测的详细结果:120项私有法律任务、24个执业领域、全任务通过率20.8%,在所有参评模型里居首。这是该基准至今最高的公开成绩。同一底座的通用版
GPT-6.2 Astra只拿到15.0%,两者相差5.8个百分点。ChatGPT Enterprise客户眼下可以向OpenAI的可信访问计划提交申请来使用它。
它到底是什么,又凭什么赢过自己的"同胞兄弟"
Astra for Law并不是从零训练的新模型,而是在GPT-6.2 Astra通用底座上加了一层法律专项配置。说白了,就是针对法律场景的系统提示、工具调用链和输出格式约束。架构上的这点差别,直接反映在分数上:同样的底座,法律专项配置比通用配置高出约39%。提示工程和任务专项对齐在法律场景里能撬动多大的效果,这个数字给了一个直观答案。
Harvey LAB-AA v1.1的评测设计很严。任务集由法律AI公司Harvey设计,内容取自真实律师的日常活计,包括并购中的所有权变更策略制定、商业租约审查、起诉书大纲起草等。评分走二元标准:一项任务的所有评分标准必须全部过关,才算"全通过",拿部分分不算。20.8%的全通过率,意味着100项任务里大约只有21项能让三位AI评审一致认定"完全达标"。数字看着不算高,可放在法律工作这种容错极低的语境下,它已经是目前公开模型的上限。
比通过率更受关注的指标是幻觉率。据Crypto Briefing援引评测数据,Astra for Law 6.2每项任务的材料性幻觉只有0.03次,在参评模型中最低,折算下来约每100项任务出现3次材料性错误。这项检查对比的是模型输出与所给案件文档,专门核查没有文档支撑的陈述。它不验证判例法引用是否准确,但对于"依据文件起草文书"这类核心法律代理工作,最关键的错误类型已经覆盖到了。
各方利益相关者的得与失
对法律从业者来说,决定一个工具能不能进工作流的门槛是幻觉率,不是通过率排名。律师最大的职业风险,是向当事人或法院递上错误事实。一个能稳定低幻觉完成文书起草的工具,可以接住大量初稿工作;幻觉率偏高的模型,每次用完都得完整复核一遍,真正省下的时间有限。0.03的材料性幻觉率,是这次发布里最实在的一个数据点。
已经部署ChatGPT Enterprise的企业用户,并不能立刻用上,得主动申请。这种安排有两种说得通的解释:OpenAI可能在控制容量,避免法律场景的高风险输出酿成规模化合规事件;也可能是想借申请流程筛选用例,攒下可追溯的真实反馈。另一边,Harvey和Legora等法律科技合作伙伴会通过API接入,这些平台的用户未来将成为另一条主要渠道。
竞争格局上,这次发布形成了一个结构性压力点。通用底座在法律场景下已经接近可用门槛,专门卖给律所的垂直法律AI公司,差异化空间会被压缩。GPT-6.2 Astra通用版自己就有15%的全通过率,这时候"专门为法律设计"这个卖点,得拿更具体的可操作优势来撑,笼统的准确性承诺不够用了。
一个基准能说明多少问题
Harvey LAB-AA不是唯一的法律AI评测框架。把几个基准的结果摆在一起,图景就复杂了。据报道,在另一项HLAB基准上,GPT-6.2 Astra只排第11位;在法律研究基准上排第30位。Vals AI的法律研究基准中,Astra for Law 6.2于2026年11月16日拿到53.8%的满分率,据估算比两个月前的基线提升约8个百分点,但在该基准的整体排名里并未居顶。
跨基准的分化并不奇怪,只是解读时要谨慎。Harvey LAB-AA测的是任务型代理能力——给一份材料,完成一项具体法律文书;法律研究基准侧重检索和引用判例、论证法律适用。两种能力对法律工作都重要,训练优化的方向却可以不同。Astra for Law在Harvey LAB-AA上拿第一,说明它在文书起草类任务上做了明确的专项对齐,但这不等于全能型法律AI能力的全面领先。
Harvey LAB-AA的任务集由Harvey设计,而Harvey本身就是一家商业法律AI公司,也是OpenAI在法律领域的合作伙伴之一。评测的独立执行由Artificial Analysis完成,任务设计与评分标准的制定权却在Harvey手里。逻辑上,这存在利益相关方参与基准设计的结构性问题。这不代表数据造假,但解读"第一名"时,需要把它放在"Harvey设计的任务集"这一限定语境下理解。
接下来应该观察什么
基础设施层面,GPT-6.2 Astra已于11月17日同日在Amazon Bedrock正式上线,API定价为每百万输入token 8美元、输出40美元,比前代GPT-6 Astra低20%。企业技术团队现在可以通过标准云服务调用这个底座模型,不必完全依赖OpenAI的直接接口。Astra for Law的企业接入与底层API可用性同步落地,从工程部署角度看,是一套完整的东西。