一句话生成世界
用一个提示生成关系型、可执行的世界,包含 SQLite 表、Python 工具、有据可依的任务和确定性的 VCode 验证器,托管在稳定的 worldId 下,随后可驱动其任务并对照真实状态变化打分。
官方说明 ↗拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Blobfish AI 提供面向 AI 智能体训练的模拟基础设施,让模型在仿真的 CRM、ERP 和表格环境中练习真实企业工作流,并从确定性验证器获得精确反馈。团队由创始人基于六个月企业后训练环境建设经验打造。它将「人工重建任务集」的循环转为持续自动化:一个提示生成关系型可执行世界(SQLite 表、Python 工具、带已知结果的任务、VCode 验证器),再驱动智能体执行并对照真实状态变化打分。核心短板是没有 LLM 评判者之外的公开定价与免费额度信息。
Blobfish AI 是一套面向 AI 智能体训练与评估的模拟基础设施,用视频游戏训练场的方式让模型在仿真的企业系统里练习。创始人此前花了六个月为企业客户建设后训练环境,观察到 30 个专家工作流映射中只有 6 个真正适合强化学习,其余要么太简单要么超出模型能力边界,于是把「训练变得太简单后需要重新搭建任务集」的瓶颈做成一个可循环的系统。
产品由几块构成:真实感模拟数据(相互连接的记录、文件和状态,像真实办公环境一样运作);智能体可调用的工具(Mock MCP 服务器配统一 agent CLI,覆盖 CRM、ERP 和电子表格);可调整难度且结果已知的训练任务;以及确定性验证器,用精确检查判断智能体是否正确地改变了世界状态。做法上先正向证明工具工作流可行,再反向生成一个真实员工可能提出的请求,让答案和验证器从一开始就存在,奖励路径里不依赖 AI 评判者。
使用上,普通用户可以在 Blobfish Studio 里用一句提示生成世界并让智能体进去尝试;开发者通过 /api/v1/environments 五个调用创建镜像客户系统的世界,把每个模拟工具当作可调用的 HTTP 端点,并按评测轮次隔离状态后用可执行验证器打分,生产智能体代码不需要 MCP 客户端、JSON-RPC 封装或了解世界模型;团队可以用 session-per-rollout 的方式并发跑大量 rollout,避免多任务同时改写同一批记录导致验证器结果互相污染。
用一个提示生成关系型、可执行的世界,包含 SQLite 表、Python 工具、有据可依的任务和确定性的 VCode 验证器,托管在稳定的 worldId 下,随后可驱动其任务并对照真实状态变化打分。
官方说明 ↗相互连接的记录、文件和状态构成一个像真实办公环境一样运作的世界,智能体可以进入、行动、失败并重试,而不是拿到一份静态数据集。
官方说明 ↗Mock MCP 服务器配一个统一的 agent CLI,覆盖 CRM、ERP 和电子表格。以 HTTP 端点形式暴露,OpenAI 和 Anthropic 的 schema 已预先格式化好。
官方说明 ↗先证明工具工作流可行,再反向把它变成真实员工可能委派的请求,让答案和验证器从一开始就存在,不需要事后补验证逻辑。
官方说明 ↗用精确检查判断智能体是否正确地改变了世界,奖励路径里不需要 AI 评判者,避免主观打分带来的噪声。
官方说明 ↗mode="deep" 构建有研究支撑的世界,经过锚点、工具存活和任务接受闸门,耗时以分钟计;mode="preview" 在秒级返回未接地的原型,用于先搭好评测 harness。
官方说明 ↗/api/v1/environments 路径只需五个调用:创建世界、拿到全部模拟工具、按评测轮次隔离状态、用可执行验证器打分,生产智能体代码无需 MCP 客户端或 JSON-RPC 封装。
官方说明 ↗demo/frontier-lab-eval/ 提供一个完整独立项目,创建世界并用模拟工具评估生产智能体,带 Langfuse 报告;只依赖 httpx 一个库,客户端是单个可读文件。
官方说明 ↗当你的团队已经有一个可运行的生产智能体,想让它针对企业级长流程工作稳定变强时,Blobfish 值得考虑——它把「训练后任务变简单、要重新搭一套」的循环转成持续生成,且奖励路径不依赖 AI 评判者。当你只是想快速做一个 demo,或者团队没有工程能力接 HTTP 端点、没有能力用 session-per-rollout 管理并发评测时,它并不合适:接入需要写代码,且并发不当会让验证器读到别人的写入结果。
需要一个能让模型反复失败并从精确反馈中学习的环境,且奖励路径不依赖 AI 评判者,适合用它构造可验证的强化学习任务。
已经有一个能跑的智能体,想对照模拟工具评测并持续变强。接入以 HTTP 端点为形式,不需要 MCP 客户端或 JSON-RPC 封装。
想用镜像自家 CRM、ERP、表格系统的世界做评测,先在模拟环境里验证智能体行为再上生产。
任务不需要跨文件、跨工具的多步操作时,这套长流程模拟环境提供的价值有限,投入产出不划算。
接入前需要先联系确认费用结构,再判断是否在预算内。
它是一套模拟基础设施,让 AI 智能体在仿真的企业环境里练习真实工作流。环境里有像真实办公场所一样运作的记录、文件和状态,智能体可以使用 CRM、ERP 和电子表格等工具,尝试任务、失败、接收反馈并逐步改善。
/api/v1/environments 路径五个调用即可起步:创建一个镜像客户系统的世界、拿到全部模拟工具的 HTTP 端点、按评测轮次隔离状态、用可执行验证器打分。生产智能体代码不需要 MCP 客户端,也不需要了解世界模型。
mode="deep" 构建有研究支撑的世界,经过锚点、工具存活和任务接受闸门,耗时以分钟计,可用于生产与训练。mode="preview" 在秒级返回未接地的原型,只适合先把评测 harness 接起来。两者共享同一个 env_id 和轮询约定,切换只需改一个词。
验证器做的是精确检查——智能体有没有把世界改成正确的状态。做法是先正向证明工具工作流可行,再反向构造真实员工可能提出的请求,这样预期状态变化从一开始就确定,无需依赖主观判断。
每个 rollout 要用独立 session。一个 Langfuse 数据集运行会并发执行多个条目,没有 per-item session 时它们会改写同一批记录,第一个之后的验证器结果都在给别人的写入打分,整轮结果失真。
官方示例是一个完整独立项目,位于 demo/frontier-lab-eval/,只依赖 httpx 一个库,客户端是单个可读文件。智能体是唯一需要替换的部分,工具调用就是一次普通的 JSON POST。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Blobfish AI本工具 | 4.2 | 官网未公开具体定价与免费额度 | 一句话生成世界;真实感模拟数据;智能体可调用的工具;正向生成反向出题 | Web / API |
| CueLab CRM | — | 未标价 | CueLab CRM 帮助企业转化潜在客户,简化潜在客户管理,并可以通过手机管理客户关系 | — |
| Bswan.ai | — | 按用量与需求定制报价,支持免费试用 | AI 呼叫代理自动化系统,高效进行潜在客户资格审核与智能预约安排,提升销售转化率,优化客户 | Web / API |
| OpenHouse.ai | — | 未标价 | 用于家居建筑商的人工智能驱动软件,能够预测市场趋势、转化潜在客户并优化效率 | — |
| Boon | — | 未标价 | AI 聊天机器人平台,专注于潜在客户生成与客户服务支持 | — |
| Cogniroot | — | Free 档免费;Business — Essentials € 35.00 / | 跨多个平台的客户服务、调度和潜在客户生成的 AI 助手平台 | Web |