跨领域数据集检索
按关键词搜索目录中的数据，页面会实时显示匹配数量，例如某类查询会提示 currently 13 matching datasets。结果按主题标签归类到地理空间、生命科学、机器学习等方向。
官方说明 ↗
Registry of Open Data on AWS
AI TOOL PROFILE工具资料汇集地理空间、生命科学与机器学习等公开数据集的检索目录，可直接通过 AWS 资源访问。
价格数据集本身不收费，访问产生的 AWS 资源费用另计
平台Web / API
归类论文与学术
收录2026-05-09
复核2026-05-09
编辑评分
4.2 / 5
★★★★☆
Registry of Open Data on AWS编辑总结
Registry of Open Data on AWS 是由 AWS 维护的公开数据集目录，帮助人们发现和共享托管在 AWS 上的数据集。目录收录地理空间与环境、基因组与生命科学、机器学习等多个领域的数据，来源包括 NASA、NOAA、NIH STRIDES、Allen Institute、Digital Earth Africa 等机构。代表性条目有收录超过 300 billion 网页的 Common Crawl、覆盖约 6.8 billion 蛋白质序列的 ESM Atlas，以及可回溯至约 15K 患者睡眠记录的 Human Sleep Project。数据集由第三方提供与维护，采用各自不同的许可协议。
Registry of Open Data on AWS是什么？
Registry of Open Data on AWS 是一个公开数据集索引站点，目标是帮助人们发现并共享通过 AWS 资源提供的数据。它不是数据本身的生产者，而是一个目录平台，把散落在各机构手中的数据集集中展示，方便研究者、开发者按主题检索。收录的数据集来自 NASA Space Act Agreement、NIH STRIDES、NOAA Open Data Dissemination Program、EPA、Allen Institute、Biohub、Digital Earth Africa、Data for Good at Meta 等众多机构。
从现有条目看，目录覆盖三大方向：地理空间与环境观测，例如 Digital Earth Africa Cropland Extent Map（2019）以 10m 分辨率刻画非洲耕地分布；基因组与生命科学，例如 ESM Atlas 汇集约 6.8 billion 蛋白质序列的稀疏自编码器特征与约 1.1 billion 蛋白质的三维结构预测；以及机器学习语料，例如由超过 300 billion 网页组成的 Common Crawl。每条数据集页面会标注更新频率、许可证、文档链接、维护机构与联系方式。
使用方式上，普通研究者可以浏览目录、查看教程与 SageMaker Studio Lab notebook 快速上手；需要大规模计算的用户可借助 AWS CLI 等工具把数据直接拉进自己的分析流程；数据集贡献者则可通过官方 GitHub 仓库提交新增条目。
Registry of Open Data on AWS核心功能
数据集详情页
每条数据都有独立页面，列出描述、更新频率、许可证、文档链接、维护机构与联系方式，并提供 How to Cite 引用格式，方便在论文中规范引用。
官方说明 ↗教程与 Notebook
配套 SageMaker Studio Lab notebook 教程，以及由社区贡献的使用示例，帮助用户在上手阶段就用真实数据跑通分析流程，而不用从零搭建环境。
官方说明 ↗AWS CLI 直接访问
数据集可通过 AWS CLI 访问，适合把大规模数据拉进自有计算环境做批量分析，避免手动下载大体积文件带来的时间与存储开销。
官方说明 ↗社区提交入口
想新增数据集或补充使用示例的作者，可按官方 GitHub 仓库的说明提交，经审核后进入目录，让更多研究者检索到自己的数据。
官方说明 ↗第三方数据许可说明
页面明确说明数据集由第三方提供和维护，采用不同许可证。例如 DE Africa 耕地图为 CC BY 4.0，ESM Atlas 数据同样为 CC BY 4.0，用前需逐条核对。
官方说明 ↗Registry of Open Data on AWS值不值得用？
当你要找地球观测、蛋白质结构或网页语料这类公开数据时，这个目录值得先查一遍——它把 NASA、NOAA、Biohub 等机构的数据集中列出，还标注了许可证与引用格式，省去逐个机构翻找的时间。ESM Atlas 约 6.8 billion 蛋白质序列、Common Crawl 超过 300 billion 网页这类规模，自建很难替代。但它是目录而非数据托管方，数据集由第三方维护，更新频率、可用性、许可条款各不相同，真正用于生产前要逐条读详情页。访问本身免费，但把数据拉进 AWS 计算产生的费用需自行承担。
建议选它的情况
- 做地球观测或农业遥感研究，需要非洲耕地等区域尺度数据
- 做蛋白质结构或宏基因组分析，要大规模序列与结构预测结果
- 需要网页级语料训练或评测语言模型
- 想按标准引用格式在论文中引用公开数据集
不建议选它的情况
- 只需要小规模、清洗好的成品数据，懒得处理原始文件
- 希望数据方提供即开即用的托管分析环境
- 对数据更新时效要求极高、需要官方实时承诺
Registry of Open Data on AWS使用建议
入门先把路子走对
- 先看教程再下数据从教程入口找到带 SageMaker Studio Lab notebook 的示例，先跑通一个小样本，确认数据格式与字段符合预期，再考虑拉全量。
- 锁定许可证再动手每条数据集页面的 License 一栏写法不同，例如 CC BY 4.0 要求署名。用于论文或商用前先确认授权范围，避免后期返工。
- 用引用格式记出处详情页的 How to Cite 给出了标准引用话术，写论文时直接套用，比事后回忆数据来源更可靠。
进阶省时间也省钱
- 用 CLI 拉数据省时间对 ESM Atlas 这类可通过 AWS CLI 访问的数据集，用命令行批量拉取比重网页下载更稳，也便于写进可复现的分析脚本。
- 留意更新频率差异各数据集更新节奏不一致，有的写着 To be defined，有的按版本发布，例如 ESM Atlas 为 v1.0。依赖时效性的分析要提前确认版本。
- 按标签缩小检索范围数据集页面带 agriculture、geospatial、protein 等主题标签，用标签组合检索比泛关键词更快定位到细分领域的数据。
Registry of Open Data on AWS适合谁用？
遥感与环境研究者
推荐需要非洲耕地等区域尺度地理数据，DE Africa 耕地图提供 10m 分辨率、覆盖 2019 全年的结果，适合做农业与粮食安全分析。
蛋白质与生信团队
推荐ESM Atlas 提供约 6.8 billion 蛋白质的稀疏自编码器特征和约 1.1 billion 结构预测，规模自建成本高，直接取用更划算。
语言模型开发者
有条件Common Crawl 收录超过 300 billion 网页，是训练与评测语料的常见来源，但需自行处理清洗与许可问题。
睡眠医学研究者
有条件Human Sleep Project 起步于约 15K 患者的临床睡眠记录，计划扩展到超过 200K 患者，适合做睡眠相关算法研究，但涉及临床数据需注意合规。
只想拿现成小数据的用户
不推荐目录里的数据多为原始或大规模形态，缺少开箱即用的成品数据集，小规模需求可能要另找渠道。
Registry of Open Data on AWS优点和缺点
优点
- 集中收录 NASA、NOAA、NIH STRIDES 等机构数据，省去逐个站点翻找
- 单条数据集页面给出许可证、文档与引用格式，合规信息较完整
- 覆盖地理空间、生命科学、机器学习等多领域，检索入口统一
- 提供 SageMaker Studio Lab notebook 教程，上手门槛较低
缺点
- 数据集由第三方提供和维护，许可与更新节奏各不相同
- 部分数据集更新频率标注为 To be defined，时效性无法保证
- 目录只做索引，不负责数据本身的质量与可用性
- 访问数据本身不收费，但配套 AWS 计算资源需另行付费
Registry of Open Data on AWS关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| Common Crawl 网页规模 | over 300 billion web pages | Common Crawl 条目描述 |
| ESM Atlas 蛋白质序列数 | over 6.8 billion | ESM Atlas 条目描述 |
| ESM Atlas 结构预测数 | ~1.1 billion | ESM Atlas 条目描述 |
| ESM Atlas 蛋白质聚类数 | 7.7 million clusters | ESM Atlas 条目描述 |
| Human Sleep Project 起步患者数 | ~15K patients | Human Sleep Project 条目描述 |
| Human Sleep Project 计划患者数 | >200K patients | Human Sleep Project 条目描述 |
| 耕地图分辨率 | 10m | DE Africa 耕地图条目描述 |
Registry of Open Data on AWS常见问题
这个目录是免费的吗？＋
目录浏览和数据集访问不收费，数据本身由各机构免费公开。但如果把数据拉进 AWS 做计算或存储，产生的资源费用由使用者承担，需按 AWS 计费规则结算。
目录里都有哪些类型的数据？＋
主要分三类：地理空间与环境观测，如 Digital Earth Africa 的 10m 分辨率非洲耕地图；基因组与生命科学，如 ESM Atlas 约 6.8 billion 蛋白质序列；以及机器学习语料，如收录超过 300 billion 网页的 Common Crawl。
数据可以商用吗？＋
不能一概而论，每条数据集采用各自的许可证。例如 DE Africa 耕地图和 ESM Atlas 数据采用 CC BY 4.0，允许使用、分发和改编但要求署名。用于商用前应逐条核对详情页的许可说明。
怎么把数据拿到自己的环境里？＋
部分数据集支持通过 AWS CLI 访问，适合把大规模数据拉进自有计算流程。也可以在详情页下载，或借助配套的 SageMaker Studio Lab notebook 教程先跑通小样本再决定。
我自己的数据集能加进来吗？＋
可以。按 Registry of Open Data on AWS GitHub 仓库里的说明提交数据集或使用示例，审核通过后即可进入目录。目录也欢迎用户提交基于已有数据的项目，可能被选入博客介绍。
数据质量由谁负责？＋
数据集由第三方机构提供和维护，目录本身不承担数据质量责任。页面会标注维护机构与联系邮箱，例如 DE Africa 耕地图由 Digital Earth Africa 管理，问题可直接联系对应维护方。
