Onehouse

Onehouse

AI TOOL PROFILE工具资料

把数据湖部署进自己云账号的通用湖仓平台

官网地址 https://www.onehouse.ai

访问官网
价格按量付费或固定年费,另可申请获得 $1,000 免费额度
平台Web / Kubernetes / API
归类数据分析
收录2025-01-01
复核2025-01-01
编辑评分 4.1 / 5

Onehouse编辑总结

EDITOR REVIEW编辑评测

Onehouse 由 Apache Hudi 与 Apache XTable 的原班团队打造,把摄入、转换与服务放在同一个平台上。平台可部署在用户自己的 VPC 或任意 Kubernetes 集群,支持按量付费或包年。存储层同时兼容 Apache Hudi、Apache Iceberg 和 Delta Lake,并可借 Apache XTable 在三种表格式之间任意转换。生产数据方面,单个客户每天摄入 350+ TB,每月 800K+ 次作业运行,作业成功率 99%。它更适合已有云上数据基础设施的团队,入门门槛不在价格,而在能否接受数据湖这套架构与运维方式。

Onehouse是什么?

Onehouse 是一套通用数据湖屋平台,创建者来自 Uber、LinkedIn 和 Confluent,也是 Apache Hudi 和 Apache XTable 的作者。它面向需要在多云、多引擎之间保持数据开放、避免被单一厂商锁定的数据工程与 AI/ML 团队。

平台覆盖完整链路:采集端支持对象存储上的 Parquet、JSON、CSV、XML 与二进制文件,支持 Oracle、PostgreSQL、MySQL、SQL Server、MongoDB、DynamoDB 等数据库的 CDC 变更流,也支持 Kafka、Confluent Cloud、Amazon MSK、Redpanda、Pulsar 的持续流读取;转换端提供 SQL、Spark、Scala、PySpark 作业;服务端由 Lakegres 提供与 Postgres 兼容的分析与 AI 服务入口,Quanton 引擎负责 SQL 与 Spark ETL。

部署上,平台可以装在用户自己的 VPC、自管 Kubernetes(含本地集群),或 Amazon EKS、Google GKE、Azure AKS 等托管 Kubernetes,也可运行在 Nebius、CoreWeave、Nscale、DigitalOcean、Crusoe 这类 NeoCloud 上。数据始终以开放格式存放在用户自己的存储桶里,OneSync 负责在 Glue、Unity、Snowflake 和 Hive 之间同步表元数据与访问权限。

Onehouse核心功能

CAPABILITIES工具标签

多源数据接入

可采集 S3、Google Cloud Storage、Azure Data Lake Storage 或任意兼容 S3 对象存储上的 Parquet、JSON、CSV、XML 与二进制文件,也支持 Oracle、PostgreSQL、MySQL、SQL Server、MongoDB、DynamoDB 等库的 CDC 变更流。

OneFlow 增量摄入

端到端增量执行,每次只读写发生变化的数据,成本与新增数据量挂钩而不是整表规模;托管 CDC、流与文件摄入,按新鲜度目标做延迟感知调度。

多格式表存储

在用户自己的存储桶中同时管理 Apache Hudi、Apache Iceberg 和 Delta Lake 三种表格式,借助 Apache XTable 在任意方向之间转换;Table Optimizer 持续执行 compaction、聚类、清理与文件大小调整。

Quanton 引擎

运行 SQL 与 Spark ETL,据比开源 Spark 快 5 倍、成本低 75%,并可与 Databricks Photon 在真实 ETL 场景下持平或更快;现有作业无需重写即可切换。

弹性计算运行时

自动扩缩容器可在数分钟内完成集群规格调整,而 Spark 默认需要 30-40;多路复用调度把多个作业打包到共享集群,并优先使用 spot 与 Graviton 实例;列式向量化合并降低云请求成本。

Lakegres 服务层

提供与 Postgres 兼容的分析与 AI 上下文服务端点,数据直接来自开放表格式;在真实生产环境中比 AWS Athena 快 2-10 倍。

OneSync 元数据同步

同时在 Glue、Unity、Snowflake 和 Hive 之间保持表元数据与访问权限一致,并覆盖所有表格式,使引擎、格式和云之间的体验保持统一。

Onehouse值不值得用?

VERDICT工具标签

当你要把湖仓架构放进自己的云账号、并且不愿被某一家厂商锁定格式与目录时,Onehouse 值得认真评估——三种开放表格式任意转换、OneSync 同步 Glue/Unity/Snowflake/Hive,这套组合在同类里不常见。已经有 Spark 作业的团队可以先用免费的 Cost Analyzer 验证 Quanton 的提速与降本,再决定是否切换。但如果你没有自管 Kubernetes 或云账号运维能力,部署与维护成本会比直接用托管服务高;数据量不大、作业不多时,平台提供的增量能力也换不回相应的复杂度。

建议选它的情况

  • 已有自管 VPC 或 Kubernetes 集群,希望湖仓平台留在自己账号内的团队
  • 同时使用 Hudi、Iceberg、Delta Lake 中两种以上表格式,需要互相转换
  • Spark 作业量大、想用 Quanton 降低计算成本的团队
  • 需要把同一份数据同时供数仓、查询引擎、AI/ML 平台和向量数据库使用

不建议选它的情况

  • 没有云账号或 Kubernetes 运维能力、希望开箱即用 SaaS 的小团队
  • 数据量较小、现有批处理成本已经可以接受的项目
  • 只需要单一表格式、不打算做跨引擎或多云部署的用户

Onehouse使用建议

HOW TO USE工具标签
入门先把路子走对
  1. 先申请文档访问在官网的文档访问页面提交申请,审批通过后除了能读文档,还会解锁 $1,000 免费额度,可用来做第一轮验证。
  2. 选好部署位置先确认是放在自己的 VPC、托管 Kubernetes(EKS/GKE/AKS)、自管 Kubernetes,还是 NeoCloud(Nebius、CoreWeave、Nscale、DigitalOcean、Crusoe),这一步决定了后续网络与权限配置。
  3. 从一种来源接入先接一类数据源验证链路:对象存储文件、数据库 CDC 或 Kafka 流三选一,跑通 OneFlow 增量摄入后再扩到其他来源。
进阶省时间也省钱
  1. 用免费分析器试算切换 Quanton 前先用官网提供的免费 Apache Spark Cost Analyzer 跑一遍现有作业,把提速与降本幅度算出来再决定是否重定向作业。
  2. 打开表优化器让 Table Optimizer 持续做 compaction、聚类、清理与文件大小调整,可以不额外维护一个专职的维护作业,表也能保持查询速度。
  3. 按增量改写作业把现有的全量 Spark 作业改成增量执行,让每次运行只处理变化部分,在 OneFlow 与 Onehouse Compute Runtime 上都能直接省下计算开销。

Onehouse适合谁用?

WHO IS IT FOR工具标签

多云数据工程团队

推荐

需要数据同时存在于多个云、又要避免被单一厂商锁定的团队,可以用 OneSync 在 Glue、Unity、Snowflake、Hive 之间统一元数据与权限。

已有 Spark 作业的团队

推荐

现有 SQL、Spark、Scala、PySpark 作业无需重写即可指向 Quanton 引擎,改造量小、验证路径清晰,适合先小范围试跑。

AI/ML 平台建设方

推荐

可直接从开放表格式取数供 AI/ML 平台与向量数据库使用,减少为模型训练单独搭一套数据管道的工作。

没有自管集群的小团队

有条件

平台装在自管 VPC 或 Kubernetes 上,缺少云账号与集群运维能力时部署与维护成本会明显上升,需谨慎评估。

只用单一表格式的用户

不推荐

如果只使用 Hudi、Iceberg 或 Delta Lake 其中一种,且没有跨引擎、跨云需求,平台的多格式转换优势基本用不上。

Onehouse优点和缺点

PROS & CONS工具标签

优点

  • 存储层同时支持 Apache Hudi、Apache Iceberg 和 Delta Lake,并可任意方向转换
  • 单个客户每天摄入 350+ TB,每月 800K+ 次作业运行,作业成功率 99%
  • Quanton 引擎比开源 Spark 快 5 倍、成本低 75%
  • Lakegres 在真实生产环境中比 AWS Athena 快 2-10 倍
  • 自动扩缩容器数分钟内完成调优,Spark 默认需要 30-40
  • 数据存储在用户自己的存储桶,保持开放格式,不被厂商锁定
  • Table Optimizer 持续做 compaction、聚类、清理与文件大小调整

缺点

  • 需要自备 VPC 或 Kubernetes 集群,没有自管基础设施的团队上手门槛高
  • 官网未公开具体档位价格,只说明按量付费或固定年费
  • Quanton 的提速与降本数据来自官网自述,尚未见第三方独立验证结果
  • 产品线覆盖摄入、转换、服务、存储多个环节,学习曲线比单一组件工具陡

Onehouse关键指标

MEASURED FACTS工具标签
指标数值数据来源
单客户每日摄入量 350+ TB Onehouse 官网
每月作业运行次数 800K+ Onehouse 官网
生产环境作业成功率 99% Onehouse 官网
Quanton 引擎相较开源 Spark 提速 5x Onehouse 官网
Quanton 引擎相较开源 Spark 降本 75% Onehouse 官网
Lakegres 相较 AWS Athena 提速 2-10x Onehouse 官网
文档访问申请通过后赠送额度 $1,000 Onehouse 官网文档访问页

Onehouse常见问题

FAQ工具标签
Onehouse 怎么收费?

官网说明可以按量付费,也可以选择固定年费。申请文档访问并通过审批后,会额外解锁 $1,000 免费额度,可用于第一轮试用。未公开具体的档位价格与计费单价,实际费用需向官方确认。

它和直接用 Apache Hudi 有什么不同?

Hudi 是 Onehouse 团队参与创建的表格式,而 Onehouse 把摄入、转换、存储优化和服务层包装成一个平台,内置 OneFlow 增量摄入、Quanton 引擎、Lakegres 服务层和 Table Optimizer,并同时兼容 Hudi、Iceberg 和 Delta Lake,不需要自己把这些组件拼起来。

能在自己的服务器上部署吗?

可以。平台支持部署在用户自己的 VPC,也可以运行在 Amazon EKS、Google GKE、Azure AKS 等托管 Kubernetes、自管 Kubernetes(包括本地集群),或 Nebius、CoreWeave、Nscale、DigitalOcean、Crusoe 这类 NeoCloud 上。数据存放在用户自己的存储桶里。

Quanton 引擎切换过去要重写作业吗?

现有作业可以重新指向 Quanton 引擎,无需重写,并提供一个免费的 Apache Spark Cost Analyzer,让你先用真实作业算出提速与降本幅度。其比开源 Spark 快 5 倍、成本低 75%,并与 Databricks Photon 在真实 ETL 场景下持平或更快。