网址生成文本
在页面提供一个网址,即可生成对应的 llms.txt 文件,把该网站内容整合成一份供大模型读取的文本。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
把一个网站抓成给大模型用的 llms.txt 整合文本文件
Firecrawl LLMs.txt generator 是 Firecrawl 推出的在线工具,输入一个网址就能生成 llms.txt 文件,把整个网站的内容汇总成一份适合大模型训练与推理读取的纯文本。它提供 v2 版本,网页版可直接使用,也支持用 API 调用,官方建议配合 Firecrawl 的 API key 获得更好体验。需要注意两点:该 API 已被官方标记为弃用,转向主端点,并明确写到 2025 年 6 月 30 日之后不再维护;同时给出了开源的 create-llmstxt-py 仓库作为替代方案。对只想快速试一次、拿到一份网站文本的用户,它仍然能用;但要长期稳定接入,官方已指向别的路径。
Firecrawl LLMs.txt generator 是 Firecrawl 提供的一个在线工具,用途是把一个网站的内容生成为 llms.txt 文件。用户在页面上提供一个网址,工具就会把该网站的内容整理成一份整合的文本文件,供大模型训练和推理时读取。它的口号是「Powered by Firecrawl」。
当前为「LLMs.txt generator v2」。使用方式是:输入 URL 生成文件;建议使用 Firecrawl 的 API key 以获得更好的体验;除网页操作外,也可以通过 API 调用该功能。
对普通用户来说,它适合一次性把某个站点的内容打包成文本;对开发者来说,可以通过 API 把它接进自己的流程,或改用官方给出的 create-llmstxt-py 仓库自行生成。需要留意的是,官方已注明该 API 正在被主端点取代,并会在 2025 年 6 月 30 日之后停止维护,端点仍会保持可用,但不再更新。
在页面提供一个网址,即可生成对应的 llms.txt 文件,把该网站内容整合成一份供大模型读取的文本。
官方建议使用来自 Firecrawl 的 API key,以获得更好的体验,适合需要稳定调用的场景。
除网页操作外,也可以直接通过 API 调用 llms.txt 生成能力,方便接入自动化流程。
生成的是整合后的文本文件,用途明确写为 LLM training and inference,即大模型训练与推理。
官方给出 create-llmstxt-py 仓库作为生成 LLMs.txt 文件的示例实现,可自行部署使用。
官方说明 ↗需要把某个网站的内容整理成一份干净文本喂给模型,输入网址即可生成 llms.txt,省去自己写爬取和拼接。
可以把站点内容快速转成整合文本作为语料来源;但该 API 已被官方标记弃用,长期项目建议改用官方给出的开源仓库或主端点。
网页上提供网址即可生成,无需先注册,适合先看看效果再决定要不要接入流程。
官方明确写到 2025 年 6 月 30 日之后不再维护该 API,端点虽保持可用,但不适合作为长期依赖的接口。
它把一个网站的内容生成成 llms.txt 文件,也就是把站点内容整合成一份文本,供大模型训练和推理时读取。使用方式是提供一个网址,工具由 Firecrawl 提供支持。
在页面上提供一个网址即可生成 llms.txt 文件。建议使用来自 Firecrawl 的 API key,以获得更好的体验;除网页操作外,也可以直接通过 API 调用这项能力。
说明该 API 正在被主端点取代,端点仍会保持可用,但 2025 年 6 月 30 日之后不再维护。同时给出了 create-llmstxt-py 仓库,作为自行生成 LLMs.txt 文件的示例方案。
页面标题写的是「LLMs.txt generator v2」,同时顶部提示该 API 正在被主端点取代,并指向 create-llmstxt-py 这个开源仓库。也就是说 v2 仍可使用,但官方已经把后续方向指到主端点和开源实现上。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Firecrawl LLMs.txt generator本工具 | 4.4 | 未标价 | 网址生成文本;api key 支持;API 调用;面向训练与推理 | Web / API |
| fluidstack.io | — | Contact for Pricing | 一个用于训练和推理的 AI 云平台,配备 NVIDIA GPU | Web |
| MTIA | — | 未标价 | Meta 自研的下一代 AI 训练和推理加速芯片 | — |
| OpenELM | — | 未标价 | OpenELM 是一套高效的语言模型家族,具备开源训练和推理框架 | — |
| vellum.ai | — | 未标价 | 专为 LLM 应用程序打造的开发平台,提供全面的工具和资源支持 | — |
| LLMOps.Space | — | 未标价 | LLMOps.Space 是一个全球化的社区,专为 LLM(大型语言模型)从业者和爱好者打造 | — |