多学科评测
评测覆盖 13+ 学科领域，题库为 220,000 道研究生水平生成式问题，每次评测动态采样未见过的测试集，避免模型提前背题。
价格官网未标价
平台Web
归类大模型与开发平台
收录2026-07-09
复核2026-07-09
编辑评分
4.3 / 5
★★★★☆
LLM编辑总结
LLMEval 是复旦大学 NLP 实验室发起的大模型评测研究计划，目标是建立严谨、公平的评测框架，覆盖 13+ 学科领域、医学 AI 与 220,000+ 生成式问题。它已产出 5 篇发表于 AAAI、EMNLP、ACL 与 arXiv 的论文，对 59 个 LLM 做过基准测试，GitHub 收获 285+ Star。最新开源的 LLMEval-Logic 包含 196 个公开基础题与 154 个对抗加固题，公开的 14 个前沿模型在 Hard 集上最高只有 37.5% 的题目准确率，说明中文逻辑推理仍有较大提升空间。短板也很明显：它面向研究与模型评估，不是给普通用户日常写作、办公用的对话工具，且仅公开 80% 语料，其余作为私有抗污染测试集保留。
LLM是什么？
LLMEval 是复旦大学 NLP 实验室（FDU-NLP）主导的大模型评测研究项目，定位不是面向终端用户的对话产品，而是为研究者和模型团队提供严谨、可复现的能力评估框架。评测范围覆盖 13+ 学科、医学 AI 与生成式问答。
项目已发表 5 篇论文，分别见于 AAAI、EMNLP、ACL 与 arXiv。代表作包括 LLMEval-Fair（30 个月纵向研究，基于 220,000 道研究生水平题目、13 个学科，动态采样未见测试集，LLM-as-a-judge 与人类专家一致率达 90%）、LLMEval-Med（经医生验证的真实临床医学基准）与 LLMEval-Logic（中逻辑推理基准，含 196 个公开 Base 项与 154 个对抗加固项，由 Z3 SMT 求解器与人工评分表双重审核）。
不同角色的用法：研究者可以查阅论文并复现评测流程；模型团队可以用基准定位自家模型在学科、医学、逻辑推理上的短板；开发者可以直接使用开源的 LLMEval-Logic 数据集与评测管线。排行榜与论文入口都可以在官网找到。
LLM核心功能
抗污染数据管理
采用抗污染数据策管与新型防作弊架构，只公开 80% 语料，其余 20% 由复旦 NLP 实验室保留为私有测试集，用于发现静态基准检测不到的数据污染问题。
LLM 裁判校准
用校准过的 LLM-as-a-judge 流程自动评分，与人类专家的一致率达到 90%，在保证评测效率的同时控制打分偏差。
医学临床基准
LLMEval-Med 是经医生验证的真实临床医学基准，面向医疗场景下的大模型能力评估，论文发表于 EMNLP 2025 Findings。
逻辑推理基准
LLMEval-Logic 为中文逻辑推理基准，含 Base 与 Hard 两个切分，覆盖单题命题逻辑与一阶逻辑、枚举、计数、唯一性、多解与反事实推理，题目答案由 Z3 SMT 求解器验证。
对抗加固流程
由闭环对抗加固智能体工作流筛掉过于简单的题目，最终由 196 个公开 Base 项与 154 个对抗加固项构成可复现评测管线。
论文与排行榜
官网提供论文浏览与排行榜入口，已累计对 59 个 LLM 完成基准测试，并公开 5 篇 AAAI / EMNLP / ACL / arXiv 论文。
LLM适合谁用？
大模型评测研究者
推荐需要可复现、抗污染的中文评测基准来验证方法，LLMEval 提供公开数据集与论文，可直接复现管线。
模型研发团队
推荐想定位自家模型在学科、医学、逻辑推理上的短板，可用 220,000 题题库与动态采样测试集做横评。
医学 AI 开发者
推荐做临床问答或辅助诊断系统，LLMEval-Med 是经医生验证的医学基准，适合作为上线前的评测参照。
想找日常对话助手的用户
不推荐LLMEval 是评测研究项目而非对话产品，官网没有面向普通用户的写作、办公或聊天入口。
LLM优点和缺点
优点
- 题库规模达 220,000 道研究生水平题目，覆盖 13 个学科
- 仅公开 80% 语料，20% 作为私有抗污染测试集保留
- LLM 裁判与人类专家一致率达到 90%
- 已对 59 个 LLM 完成基准测试
- 5 篇论文发表于 AAAI、EMNLP、ACL 与 arXiv
- LLMEval-Logic 开源 196 个基础题与 154 个对抗加固题
缺点
- 面向评测研究，不提供面向普通用户的对话或写作功能
- 官网未公开数据集的申请条件与商用授权范围
- 前沿模型在 LLMEval-Logic Hard 集最高仅 37.5% 准确率，题目偏难
- 私有测试集不公开，外部难以完整复现全部评测结果
LLM关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 发表论文数 | 5 | 官网首页统计 |
| 已评测 LLM 数 | 59 | 官网首页统计 |
| 题库题量 | 220K | 官网首页统计 |
| GitHub Stars | 285+ | 官网首页统计 |
| LLMEval-Logic 公开 Base 项 | 196 | LLMEval-Logic 开源自述 |
| LLMEval-Logic 对抗加固项 | 154 | LLMEval-Logic 开源自述 |
| LLM 裁判与人类专家一致率 | 90% | LLMEval-Fair 论文摘要 |
| LLMEval-Fair 纵向研究时长 | 30 个月 | LLMEval-Fair 论文摘要 |
| LLMEval-Logic Hard 集最高题目准确率 | 37.5% | LLMEval-Logic 论文摘要 |
LLM常见问题
LLMEval 是什么，能直接当聊天工具用吗？＋
LLMEval 是复旦大学 NLP 实验室的大模型评测研究项目，产出的是基准数据集、评测流程与论文，不是聊天或写作工具。它面向的是评测研究者、模型团队和医学 AI 开发者，普通用户如果想找对话助手，需要另选产品。
它的评测覆盖哪些方向？＋
目前公开的评测方向有三块：13+ 学科的研究生水平生成式问答（LLMEval-Fair，220,000 道题）、经医生验证的真实临床医学基准（LLMEval-Med）、以及中文逻辑推理基准（LLMEval-Logic，含命题逻辑与一阶逻辑、枚举、计数、唯一性、多解和反事实推理）。
LLMEval-Logic 的题目有多难？＋
它的 Hard 集包含多问题与子问题条目，覆盖枚举、计数、唯一性、多解与反事实推理。在 thinking 与 no-thinking 两种配置下，14 个前沿模型各跑三次，最强模型在 Hard 集上也只有 37.5% 的题目准确率，说明中文逻辑推理仍有较大提升空间。
数据集会全部公开吗？＋
不会。按照 LLMEval-Fair 的抗污染传统，LLMEval-Logic 只公开 80% 的语料，剩余 20% 由复旦 NLP 实验室保留为私有抗污染测试集，主要用于检测模型是否存在数据污染。公开部分包含 196 个 Base 项和 154 个对抗加固项。
评测是怎么打分和防作弊的？＋
评测采用校准过的 LLM-as-a-judge 流程，与人类专家的一致率达到 90%。同时配合抗污染数据策管和新型防作弊架构，并且每次评测都从 220,000 题的题库中动态采样未见过的题目，避免模型靠记忆题库得分。
LLM最新动态
-
LLMEval-Fair 发表于 ACL 2026 主会
30 个月纵向研究，基于 220,000 道研究生水平题目、13 个学科，LLM 裁判与人类专家一致率 90%，评测近 60 个领先模型。
-
LLMEval-Med 发表于 EMNLP 2025 Findings
面向医学大模型的真实临床基准，由医生验证后发布。
-
LLMEval-Logic 开源
开放 196 个公开 Base 项、154 个对抗加固项、Z3 验证答案、专家评分表与可复现评测管线，同时提供 GitHub 仓库与数据集。
