SmartCrawl

SmartCrawl

AI TOOL PROFILE工具资料

把网站变成 AI 可直接调用的搜索、抓取与交互 API

官网地址 https://www.firecrawl.dev/smart-crawl

访问官网
价格免费档 1,000 积分/月,付费从 Hobby $19/月起
平台Web / API / CLI
归类数据分析
收录2026-01-01
复核2026-01-01
编辑评分 4.3 / 5

SmartCrawl编辑总结

EDITOR REVIEW编辑评测

SmartCrawl 是 Firecrawl 提供的网页数据基础设施,帮 AI 系统搜索、抓取并与网页交互。搜索、抓取、交互、Agent 四块能力共用一套 API 与积分体系,可直接接入 MCP 客户端或 CLI。95% 覆盖率的抓取基准与 3,387 ms 的 P95 延迟是它的核心指标,代码开源、附带 150,000+ 公司的使用背书。短板在于积分制成本需要预估:基础抓取 1 积分/页,但 JSON、Question、Highlight 等结构化格式每页额外加 4 积分,搜索按 2 积分/10 条结果计,重度结构化需求会明显抬高成本。免费档每月仅有 1,000 积分。

SmartCrawl是什么?

SmartCrawl 是 Firecrawl 推出的网页数据 API,定位是让 AI 系统在实时网页上完成「找到、读懂、操作」三件事。它把搜索、抓取、交互和自主采集打包成一套接口,Python、Node.js、cURL、CLI 都能直接调用,同时通过 MCP 或 CLI 接入各类 AI Agent 与 MCP 客户端。

当前主力能力分四块:Search 搜索全网并返回结果全文;Scrape 把任意页面转成 LLM 可用的 Markdown、JSON 或截图;Interact 在抓取后继续用自然语言指令或代码点击、导航、操作页面;Agent 负责自主式数据收集。官方基准显示,抓取覆盖率在 1,000 条 URL 的数据集上达到 96%,P95 延迟 3,387 ms,输出只保留正文,相比原始页面为模型节省约 93% 的输入 token。Firecrawl 本体开源,GitHub 上已有 190.1K Star。

普通用户可以通过 MCP 或 CLI 把 Firecrawl 挂到自己的 AI 助手上,几分钟完成接入;开发者用 SDK 把搜索和抓取嵌进应用;团队则按积分档位为管线扩容,从标准档一路买到企业级专属并发与零数据留存。

SmartCrawl核心功能

CAPABILITIES工具标签

全网搜索

搜索网页并直接拿到结果全文,可限定返回条数,例如 search("firecrawl", limit=5)。搜索消耗 2 积分/10 条结果,结果与抓取共用同一积分余额。

页面抓取

把任意网站转成 LLM 可直接消化的数据,输出 Markdown、JSON、截图等格式。基础抓取按 1 积分/页计费,页面正常返回正文即可用于下游模型。

页面交互

先抓取页面,再用自然语言提示或代码继续操作,例如搜索「mechanical keyboard」、点击第一条结果。按 2 积分/浏览器分钟计费,适合需要点进二级页的场景。

自主采集 Agent

Agent 负责自主式数据收集,每天提供 5 次免费运行,超出后按动态定价计费。适合流程不确定、需要边走边判断的采集任务。

文档解析

/parse 接口把 PDF、Word、Excel、HTML 转成干净的 markdown 或结构化 JSON,支持 .pdf、.docx、.doc、.odt、.rtf、.xlsx、.xls、.html、.htm,仅在必要时才跑 OCR。

官方说明 ↗

MCP 与 CLI 接入

一条命令即可把 Firecrawl 接到任意 AI Agent 或 MCP 客户端,例如 npx -y firecrawl-cli@latest init --all --browser,也可直接读取技能文件完成自动接入。

多语言 SDK

提供 Python、Node.js、cURL、CLI 四种调用方式,Python 侧执行 pip install firecrawl-py 后传入 api_key 即可开始抓取或搜索。

Token 精简输出

只保留正文,去掉导航、页脚和广告,输出干净的 markdown。一个示例页面原始需 38,381 tokens,清洗后可为模型减少约 93% 的输入 token。

SmartCrawl值不值得用?

VERDICT工具标签

当你要给 AI Agent 喂实时网页数据、又不想自己维护爬虫和清洗管线时,SmartCrawl 值得用:一套 API 同时解决搜索、抓取、交互和文档解析,96% 抓取覆盖率与 3,387 ms 的 P95 延迟对实时应用够用,MCP 一条命令就能接上。当你的任务以大规模结构化抽取为主时要算账:JSON、Question、Highlight 格式每页额外加 4 积分,Monitor 的确定性抽取引擎按每次检查 7 积分/页计,重度使用下积分消耗远高于基础抓取。免费档只有 1,000 积分/月,只够验证流程,不适合直接上生产。

建议选它的情况

  • 需要把实时网页数据接进 AI Agent 或 MCP 客户端的团队
  • 要同时做搜索、抓取和页面操作的复合型采集任务
  • 希望输出直接是干净 markdown、省下 token 清洗成本的开发者
  • 看重开源、需要自建或审计数据管线的工程团队

不建议选它的情况

  • 每月抓取量极大、且全部使用结构化 JSON 格式的项目,积分成本会显著抬升
  • 只需要一次性静态页面转 markdown、不需要交互与搜索的轻量场景
  • 预算极紧且希望完全零成本长期使用的个人项目,免费档每月 1,000 积分很快用完

SmartCrawl使用建议

HOW TO USE工具标签
入门先把路子走对
  1. 先领免费额度注册免费档即得 1,000 积分/月,无需信用卡。先用几十次抓取跑通流程,再决定要不要升级到 Hobby 的 5,000 积分。
  2. 用 MCP 一键接入在 AI Agent 里执行 npx -y firecrawl-cli@latest init --all --browser,或先读官方技能文件拿到 API key,几分钟就能开始查询。
  3. 从单页抓取试起Python 侧安装 firecrawl-py 后,先调用 app.scrape('firecrawl.dev'),确认返回的 markdown 结构符合预期,再扩展到批量任务。
  4. 先做搜索再抓取用 search 拿结果列表和全文,可减少逐个试 URL 的无效抓取,搜索本身只消耗 2 积分/10 条结果。
进阶省时间也省钱
  1. 避开结构化加价JSON、Question、Highlight 格式每页额外加 4 积分,而基础 Markdown 只要 1 积分。能用 markdown 再加本地解析的,就别直接上结构化格式。
  2. 按年付费更省Hobby 档按月付 $19/月,按年付折算 $16/月;Standard 档 $83/月且标注为按年计费。长期使用选年付可压低单月成本。
  3. 错误页也要算钱返回 403 或 404 的页面仍会返回给你并计 1 积分;只有完全无结果的抓取才不收费。批量任务前先校验 URL 有效性。
  4. 设积分上限防超支付费档支持按 5 USD 增量加购、并自行设置月度上限,跨端点共用同一余额。用完还可切到 pay-as-you-go,避免任务中途断流。

SmartCrawl适合谁用?

WHO IS IT FOR工具标签

做 RAG 的 AI 工程师

推荐

需要把实时网页喂给检索增强流程,抓取输出直接是干净 markdown,省掉自建清洗管线;96% 覆盖率与 3,387 ms P95 延迟对线上服务够用。

接 MCP 的个人开发者

推荐

一条 npx 命令就能把 Firecrawl 接进自己的 AI 助手,免费档每月 1,000 积分够验证想法,5 个并发请求也够单机调试。

高频结构化抽取团队

有条件

若几乎全部走 JSON、Question、Highlight 格式,每页会额外加 4 积分,Monitor 每次检查 7 积分/页,成本模型与基础抓取差别很大,需先算清单价。

大流量数据管线负责人

推荐

Scale 档 1,000,000 积分/月、100 个并发请求,企业档另有专属 SLA、零数据留存与 SSO;量级没到这一步的团队用标准档即可。

只做一次性文档转换的用户

有条件

如果需求只是把本地 PDF、Word 转成 markdown,/parse 也能做,但同一件事有更轻的本地工具,为它付积分制费用不划算。

SmartCrawl优点和缺点

PROS & CONS工具标签

优点

  • 抓取覆盖率 96%,同基准下优于 Puppeteer 的 79% 与 cURL 的 75%
  • P95 延迟 3,387 ms,同 1,000 条 URL 基准测试得出,适合实时场景
  • 输出清洗后可减少约 93% 的输入 token
  • 搜索、抓取、交互、文档解析共用一套 API 与积分余额
  • 提供 Python、Node.js、cURL、CLI 四种调用方式
  • 开源,GitHub 上已有 190.1K Star
  • 已有 150,000+ 家公司使用

缺点

  • JSON、Question、Highlight 格式每页额外加 4 积分,结构化需求成本高
  • 免费档每月仅 1,000 积分,最多约 1,000 页基础抓取
  • 403、404 等错误页仍计 1 积分,批量任务易产生无效消耗
  • Agent 超出每日 5 次免费运行后按动态定价计费,预算不易预估
  • Interact 按 2 积分/浏览器分钟计费,长会话任务成本随会话时长上升

SmartCrawl版本与计费对比

PLANS工具标签
方案价格包含内容说明
Free$01,000 credits / month,500 searches or 1,000 pages scraped,2 concurrent requestsNo cost, no card, no hassle.
Hobby$19/month billed monthly, or $16/month billed annually5,000 credits / month,2,500 searches or 5,000 pages scraped,5 concurrent requestsBasic support,1,000 extra credits per $5
Standard$83/month100,000 credits / month,50,000 searches or 100,000 pages scraped,25 concurrent requestsStandard support,2,000 extra credits per $5,Recommended
GrowthPrices shown are per month, billed annually.500,000 credits / month,250,000 searches or 500,000 pages scraped,50 concurrent requestsPriority support,2,500 extra credits per $5
Scale$ 599 /month1,000,000 credits / month,500,000 searches or 1,000,000 pages scraped,100 concurrent requestsPriority support,5,000 extra credits per $ 5
EnterpriseCustomCustom credits,Custom concurrent requestsDedicated support & SLA,Bulk discounts,Zero-data retention,SSO & advanced security

以上为公开费率整理,厂商保留调价权利,实际以官方页面为准。

SmartCrawl关键指标

MEASURED FACTS工具标签

SmartCrawl常见问题

FAQ工具标签
SmartCrawl 免费吗?

有免费档,每月 1,000 积分,无需信用卡,最多约 500 次搜索或 1,000 页基础抓取,并支持 2 个并发请求。Agent 每天另有 5 次免费运行。超出后需要付费,Hobby 档 $19/月按月付、$16/月按年付,含 5,000 积分,可做约 2,500 次搜索或 5,000 页抓取。

积分具体怎么扣?

基础抓取、爬取、地图各按 1 积分/页;搜索 2 积分/10 条结果;Interact 2 积分/浏览器分钟;Monitor 1 积分/页/次检查。在抓取和爬取场景里,JSON、Question、Highlight 格式每页额外加 4 积分,Monitor 的确定性抽取引擎按每次检查 7 积分/页计。所有端点共用同一积分余额。

抓取失败会扣积分吗?

完全无结果的抓取不收费;但返回 403 或 404 等错误状态的页面仍会返回给你,并消耗 1 积分。所以批量跑之前建议先校验 URL,避免大量错误页白白吃掉额度。

它能处理哪些文件格式?

/parse 接口可以把 PDF、Word、Excel 和 HTML 转成 markdown 或结构化 JSON,支持 .pdf、.docx、.doc、.odt、.rtf、.xlsx、.xls、.html、.htm。它只在文本不存在时才跑 OCR,并会自动分类页面、抽取和结构化内容。

怎么接到我自己的 AI 助手上?

通过 MCP 或 CLI 接入,一条命令即可:npx -y firecrawl-cli@latest init --all --browser,过程中可使用已有 Firecrawl 登录或新建登录。也可以直接读取技能文件自动获取 API key 并开始构建,查询前先阅读已安装的技能说明。

支持多少并发请求?

免费档 2 个并发,Hobby 档 5 个,Standard 档 25 个,Growth 档 50 个,Scale 档 100 个并发请求。Scale 档以上可即时下单,无需先联系销售;企业档则提供自定义并发、专属支持与 SLA、批量折扣和零数据留存。

用什么语言调用?

支持 Python、Node.js、cURL 和 CLI。Python 侧执行 pip install firecrawl-py,创建 Firecrawl(api_key="fc-YOUR_API_KEY") 实例后即可调用 scrape、search 等方法;JavaScript 侧提供等价的 Node.js SDK。

SmartCrawl最新动态

CHANGELOG工具标签
  1. 价格生效日期

    Pricing at a glance 标注 Effective September 4, 2026,价格以 USD 计。

    官方公告 ↗
  2. 发布抓取基准测试

    在 1,000-URL firecrawl/scrape-content-dataset-v1 上测得 96% 覆盖率与 3,387 ms P95 延迟。

    官方公告 ↗