多模型并行查询
一次向多个大语言模型发送提示，快速测试想法和变体，也可以向同一个模型发送不同设置下的请求，对比不同配置对回答的影响。
官方说明 ↗
价格官网未标价
平台Web
归类AI 编程
收录2025-01-01
复核2025-01-01
编辑评分
4.4 / 5
★★★★☆
ChainForge编辑总结
ChainForge 是由哈佛大学 Glassman Lab 的博士后 Ian Arawjo 创建的开源可视化编程环境，用于提示工程和大语言模型评估。它让开发者通过节点式流程图一次性向多个模型发送参数化提示，比较不同提示、模型和模型设置下的回答质量，并自动生成图表。目前处于活跃开发中的开放测试阶段，支持本地 pip 安装和浏览器在线使用两种方式。
ChainForge是什么？
ChainForge 是一个面向提示工程与大语言模型评估的开源可视化编程环境。它由哈佛大学 Glassman Lab 的博士后研究员 Ian Arawjo 创建并担任首席开发者，合作者包括 Elena Glassman、Martin Wattenberg、Priyan Vaithilingam 和 Chelse Swoopes。项目部分资金来自 NSF 资助，目标是让评估大语言模型输出质量变得像吃蛋糕一样轻松。
在功能上，ChainForge 允许用户同时向多个大语言模型发送提示，比较不同提示排列、不同模型以及不同模型设置下的回答质量，并用代码或 LLM 评分器建立评估指标，自动绘制结果图表。用户还可以跨模板参数和聊天模型同时进行多轮对话，检查并评估对话中每一轮输出。
使用方式上，普通用户可以打开浏览器直接访问在线版本体验节点式提示流程；开发者可以通过 pip 安装到本地，在本地版本中加载环境变量中的 API 密钥、编写 Python 代码评估 LLM 回答，或查询通过 Dalai 在本地运行的 Alpaca/Llama 模型。团队协作者则可以利用在线版的分享按钮把实验以链接形式发给他人复现。
ChainForge核心功能
提示排列对比
跨提示排列、跨模型、跨模型设置比较回答质量，帮助用户为自己的使用场景选出最佳提示和最佳模型，而不是依赖社交媒体上的轶事经验。
官方说明 ↗自动评估绘图
用代码或基于 LLM 的评分器设置评估指标，自动跨提示、提示参数、模型或模型设置绘制结果图表，无需手动整理数据。
官方说明 ↗多轮对话评估
跨模板参数和聊天模型同时进行多轮对话，模板化聊天消息，并检查与评估对话每一轮次的输出，适合测试聊天类应用的对话质量。
官方说明 ↗参数化提示批量导出
发送大量参数化提示，缓存结果并导出到 Excel 文件，不需要写一行代码，方便离线分析和汇报。
官方说明 ↗提示注入鲁棒性测试
开箱即用地测试提示对注入攻击的鲁棒性，也支持从 OpenAI evals 生成的示例评估，帮助发现提示的安全边界。
官方说明 ↗系统消息影响评估
测量不同系统消息对 ChatGPT 输出的影响，也支持验证同一模型在不同设置下回答的质量差异。
官方说明 ↗分享实验链接
在线版提供分享按钮，点击后生成实验的唯一网页链接并复制到剪贴板，把 LLM 实验发送给他人，方便协作与复现。
官方说明 ↗本地版本扩展能力
本地安装后可加载环境变量中的 API 密钥、编写 Python 代码评估 LLM 回答，或查询通过 Dalai 在本地运行的 Alpaca/Llama 模型，在线版功能相对有限。
官方说明 ↗ChainForge值不值得用？
ChainForge 适合想用数据而不是轶事来比较提示词和模型的开发者：当你要在多个 LLM、多个提示版本之间做选择时，它的并行查询和自动绘图能省下大量手工整理时间。它目前处于开放测试阶段，在线版功能受限，需要自备各模型的 API 密钥，而且每次加载都要重新设置密钥；如果你需要的是本地模型支持或 Python 评估代码，必须安装本地版本。
建议选它的情况
- 需要在多个大语言模型之间做横向对比、挑选最佳提示和模型的开发者
- 想用可视化节点流程而非纯代码搭建提示实验和评估管线的用户
- 需要测试提示对注入攻击鲁棒性或评估系统消息影响的安全与质量团队
不建议选它的情况
- 不想管理 API 密钥、希望开箱即得完整功能的用户
- 只使用不兼容 Chrome、Firefox、Edge、Brave 浏览器的环境且不愿意本地安装的用户
ChainForge使用建议
入门先把路子走对
- 从示例流程入手打开在线版后点击右上角的 Example Flows，里面已有评估模型对提示注入攻击鲁棒性的示例流程，可以直接在此基础上修改节点。
- 确认浏览器兼容在线版必须使用 Chrome、Firefox、Edge 或 Brave 浏览器，其他浏览器可能无法正常加载和运行流程。
- 每次加载先设密钥在线版不会把 API 密钥存在 cookie、localStorage 或服务器里，所以每次重新加载页面都要重新填写你想用的大语言模型的 API 密钥。
进阶省时间也省钱
- 本地安装解锁全功能运行 pip install chainforge 然后 chainforge serve，在浏览器打开 localhost:8000，即可使用环境变量加载密钥、Python 评估代码和本地 Alpaca/Llama 模型查询。
- 用分享按钮做协作在线版点击 Share 生成实验的唯一链接并复制到剪贴板，把实验发给同事复现，适合评审和讨论提示方案时使用。
- 参数化提示导出 Excel把大量参数化提示一次性发送并缓存，再导出到 Excel 文件，无需写代码就能完成批量实验和离线分析。
ChainForge适合谁用？
提示工程开发者
推荐需要系统比较不同提示排列和模型设置对输出质量的影响，ChainForge 的并行查询和自动绘图能直接给出对比结果。
LLM 应用质量团队
推荐可以用代码或 LLM 评分器建立评估指标，自动跨模型和提示参数绘图，把输出质量验证从轶事经验变成可复现的数据。
安全测试人员
推荐开箱即用的提示注入鲁棒性测试和 OpenAI evals 示例评估，适合检查提示在攻击场景下的表现。
不想配置密钥的轻度用户
有条件在线版不保存 API 密钥，每次加载都要重新填写，且在线版功能比本地版少；如果只是偶尔试用，体验会受密钥管理影响。
需要生产级稳定工具的企业
有条件ChainForge 目前处于开放测试阶段，仍为活跃开发中的开源项目，不适合直接作为生产环境的唯一依赖。
ChainForge优点和缺点
优点
- 开源可视化编程环境，节点流程操作，几乎不需要写代码
- 可同时查询多个大语言模型，快速比较提示、模型和模型设置
- 支持代码或 LLM 评分器建立评估指标，自动绘图输出结果
- 可同时进行多轮对话评估，检查每一轮次的输出质量
- 在线版提供分享按钮，实验可生成链接发送给他人复现
- 本地版支持 Python 评估代码和通过 Dalai 查询本地 Alpaca/Llama 模型
缺点
- 官网未公开具体价格、版本号与发布时间
- 目前处于开放测试阶段，功能仍在活跃开发中
- 在线版功能比本地版有限，且不保存 API 密钥，每次加载需重设
- 本地安装需要命令行操作，对非技术用户有门槛
ChainForge关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| NSF 资助编号 | IIS-2107391、IIS-2040880、IIS-1955699 | 官网版权与资助说明 |
ChainForge常见问题
ChainForge 是免费的吗？＋
ChainForge 是开源项目，官网和文档均未公开具体定价或收费说明。在线版命名为 chainforge.ai/play，任何人都可以打开浏览器使用；本地版通过 pip install chainforge 安装，设计上也是面向开发者的开放工具。如果未来出现付费安排，需要以官方页面为准。
ChainForge 目前是什么版本，处于什么阶段？＋
官网和文档都明确说明 ChainForge 处于活跃开发中的开放测试阶段，鼓励用户通过提交 Issue 或 fork 仓库发起 Pull Request 来参与贡献。官网未公开具体的版本号或发布日期。
在线版和本地版有什么区别？＋
在线版功能相对有限，但包含分享按钮，可以把实验生成唯一链接发送给他人。本地版通过 pip install chainforge 和 chainforge serve 安装运行，支持从环境变量加载 API 密钥、编写 Python 代码评估 LLM 回答，以及查询通过 Dalai 在本地运行的 Alpaca/Llama 模型。
使用 ChainForge 需要 API 密钥吗？密钥会被保存吗？＋
需要为你想要使用的每个大语言模型准备 API 密钥。官网明确说明不会以 cookie、localStorage 或服务器方式存储你的 API 密钥，因此每次加载 ChainForge 都必须重新填写密钥；如果不希望反复设置，推荐安装本地版本并通过环境变量管理。
支持哪些浏览器？＋
官网提示必须使用 Chrome、Firefox、Edge 或 Brave 浏览器。文档中的兼容性说明列为 Google Chrome 和 Mozilla Firefox。在不受支持的浏览器上可能无法正常使用。
ChainForge 能帮我做什么？＋
可以开箱即用地测试提示对注入攻击的鲁棒性、测试要求模型只输出特定格式时的输出一致性、批量发送参数化提示并缓存导出到 Excel、验证同一模型在不同设置下的回答质量、测量不同系统消息对 ChatGPT 输出的影响，以及运行从 OpenAI evals 生成的示例评估。
