湖仓一体架构
把数据湖与数据仓库的要素合并到一套架构中,用统一方式处理结构化与非结构化数据,减少为分析和原始数据分别维护系统带来的复杂性。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
基于湖仓一体架构统一数据、分析与人工智能的多云平台
Databricks Lakehouse Platform 是 Databricks 推出的数据与人工智能平台,基于湖仓一体架构,把数据湖与数据仓库的能力合并到一套系统中,覆盖集成、存储、处理、治理、共享、分析和人工智能。它建立在 Apache Spark,Delta Lake 和 MLflow 等开源项目之上,通过 Delta Sharing 可以在不复制数据,并支持 Python 与 SQL、批处理与流处理以及主流云厂商。定价采用按秒计费的按量付费方式,无前期成本,也提供承诺用量合同折扣。Azure Databricks 的价格由 Microsoft 制定,且如果配置为使用自己的云账户,免费试用期间云资源仍会由云厂商收费。
Databricks Lakehouse Platform 是 Databricks 提供的数据与人工智能平台,基于湖仓一体(lakehouse)架构,面向需要在同一平台上处理数据、分析和 AI 工作的组织。它把数据湖与数据仓库的要素合并,用来减少历史架构中数据与 AI 工作分散在不同系统带来的孤岛问题。
根据,这套平台建立在 Apache Spark™、Delta Lake 和 MLflow 等开源项目与开放标准之上,覆盖集成、存储、处理、治理、共享、分析和 AI 各个层面,对结构化与非结构化数据采用同一种处理方式,并提供端到端的数据血缘与来源视图。工具层面同时支持 Python 与 SQL、notebook 与 IDE、批处理与流处理,并覆盖主流云厂商。Delta Sharing 被描述为一种开放方案,可以从湖仓安全共享实时数据到任意计算平台,不需要复制数据,也不需要复杂的 ETL。
对不同角色的使用者,平台侧重的入口并不相同。数据工程、数据仓库、数据治理、数据共享、数据科学、实时流处理和人工智能等方向在官网上都有对应介绍页,普通用户、开发者与团队可以按自己的工作类型进入相应能力模块,并通过合作伙伴网络获取支持。
把数据湖与数据仓库的要素合并到一套架构中,用统一方式处理结构化与非结构化数据,减少为分析和原始数据分别维护系统带来的复杂性。
平台由 Apache Spark™、Delta Lake 和 MLflow 等被广泛采用的开源项目支撑,数据不会受限于专有格式和封闭生态。
提供开放的实时数据共享方式,可以把湖仓中的实时数据安全共享到任意计算平台,不需要复制数据,也不需要复杂的 ETL。
一套工具集同时支持 Python 与 SQL、notebook 与 IDE、批处理与流处理,并覆盖所有主流云厂商,减少在不同环境间切换的成本。
提供单一视角的数据血缘与来源追踪,帮助理解数据从进入平台到被使用的完整链路,而不是在多个系统间拼凑线索。
对性能和存储进行自动优化,其带来最低的总拥有成本,并在数据仓库与 AI 用例上具备创纪录的性能表现,包括 LLM 等生成式技术。
采用按量付费方式,没有前期成本,只按实际使用的产品以每秒的粒度计费,适合用量波动较大的团队。
由 Databricks Partner Network 提供全球支持,合作伙伴可以在构建、部署和扩展 Databricks 方案时提供协助,并获取培训、技术资源和联合销售机会。
需要在一套架构里完成集成、存储、处理与治理,并同时使用 Python、SQL、批处理和流处理的团队,可以减少系统拼接成本。
平台把数据科学与人工智能方向列为独立能力模块,并基于 MLflow 等开源项目,适合需要贯穿建模与数据流程的团队。
Delta Sharing 支持把实时数据共享到任意计算平台且不需复制和复杂 ETL,对跨组织数据交换场景较为贴合。
如果把 Databricks 配置为使用自己的云账户,免费试用期间云厂商仍会对计算实例等资源收费,需要提前评估这部分成本。
Azure Databricks 的定价由 Microsoft 制定,不能直接照搬官网其他云的价格,需要以 Azure 页面为准。
官网定价页说明采用按量付费方式,没有前期成本,只按实际使用的产品以每秒的粒度计费。如果承诺一定的使用量,可以获取折扣和其他权益,用量承诺越大权益越多,并支持在多个云之间灵活使用承诺。同时提示,Azure Databricks 的定价由 Microsoft 制定,需要访问 Azure.com 获取准确信息。
官网提供免费试用入口。试用包含对 Databricks Data + AI Platform 的免费访问,可以在一个地方管理所有数据、分析和 AI 工作,也可以邀请同事或协作者在试用期间或之后使用账户。需要注意,如果配置为使用自己的云账户,云厂商仍会对计算实例等资源收费;部分试用包含 credits,但 credits 不可转让,也不能与其他促销或谈判条款合并。
页面的说明显示,试用结束后会自动订阅你在试用期间使用的方案。这意味着如果不想继续付费使用,需要在试用结束前主动处理订阅状态,而不是等试用到期后自动进入付费方案。
的解释是,传统做法需要为结构化分析、原始或非结构化数据存储分别准备系统,而湖仓一体架构把数据湖与数据仓库的优点合并到一个平台。在 Databricks 上体现为:一套架构覆盖集成、存储、处理、治理、共享、分析和 AI,一种方式处理结构化与非结构化数据,一个端到端的数据血缘与来源视图,以及一套支持 Python 和 SQL、notebook 和 IDE、批处理和流处理并跨主流云厂商的工具集。
根据,湖仓一体架构由 Apache Spark™、Delta Lake 和 MLflow 这些被广泛采用的开源项目支撑,并由 Databricks Partner Network 提供全球支持。强调数据始终处于使用者控制之下,不受专有格式和封闭生态限制。此外 Delta Sharing 被描述为开放方案,可以把湖仓中的实时数据安全共享到任意计算平台,无需复制数据,也不需要复杂的 ETL。
官网把能力按方向拆分为数据共享、数据工程、数据治理、数据仓库、人工智能、数据科学、实时流处理和 Marketplace 等模块,并说明平台面向从初创公司到全球企业的不同规模。需要在一套系统中同时处理数据、分析和 AI 工作的团队更容易受益;而以 Azure 为主要云或使用自有云账户的用户,需要额外关注定价口径和云资源费用。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Databricks Lakehouse Platform本工具 | 4.3 | 按秒计费的按量付费,无前期成本,承诺用量可获折扣 | 湖仓一体架构;开源基础;Delta Sharing 数据共享;统一工具集 | Web |
| InsightBaseAI | — | 未标价 | 基于 AI 的商业智能平台,用于数据分析和洞察 | — |
| Dflux.ai | — | 未标价 | 用于数据探索、分析和模型开发的统一数据科学平台 | — |
| TableGPT2-7B | — | 未标价 | TableGPT2-7B 是一款专注于表格数据处理的大语言模型,适用于数据分析和商业智能 | — |
| TradeInt | — | 仅标注 Paid | 全球贸易数据平台,提供进出口数据、分析和贸易解决方案 | Web |
| NativeBI | — | 未标价 | 集成 ChatGPT 的自助式 BI 平台,用于数据分析和可视化 | — |