原生 SQL 查询
在 Hadoop 集群上直接执行标准 SQL,官方用户向导覆盖数据库创建与简单查询的完整流程。
官方说明 ↗拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
HAWQ 是 Apache 孵化器下的原生 SQL-on-Hadoop 引擎,让用户用标准 SQL 直接查询存储在 HDFS 上的数据。官方提供 2.x 用户向导作为入门材料,覆盖集群管理、数据库创建、HAWQ 表操作,以及通过 HAWQ Extension Framework(PXF)访问外部 HDFS 数据源。运行 HAWQ 2.x 需要有单节点或多节点集群,包括三种部署途径:商业发行版(如 Pivotal HDB)、沙箱虚拟机或 Docker 环境、自行从源码编译安装。短板是官网未公开价格、性能基准与具体版本发布时间。
HAWQ 是 Apache 孵化器下的一个原生 SQL-on-Hadoop 引擎项目,面向需要在 Hadoop 集群上直接执行 SQL 查询的用户与开发者。项目代码托管在 Github,开发讨论通过 HAWQ dev 邮件列表进行,问题跟踪使用 Jira。
官方提供 HAWQ 2.x 系列的用户向导,其中 Getting Started 教程给出一条完整的上手路径:先检查和搭建 HAWQ 运行时环境,再做集群管理与数据库管理,随后下载示例数据、创建 Retail 演示 schema 并把数据加载到 HDFS,最后创建和查询 HAWQ 管理的表,并使用 HAWQ Extension Framework(PXF)访问外部 HDFS 数据。
不同角色的使用方式有区别:初学者可以借助沙箱虚拟机或 Docker 环境快速跑通教程;生产环境用户可以选择商业发行版(例如 Pivotal HDB)或自行从源码编译安装;开发者则通过邮件列表、Jira 和 Github 参与 issue 讨论与 pull request 提交。
在 Hadoop 集群上直接执行标准 SQL,官方用户向导覆盖数据库创建与简单查询的完整流程。
官方说明 ↗教程 Lesson 2 演示常见的 HAWQ 集群管理操作,Lesson 1 则介绍如何检查和设置运行时环境。
官方说明 ↗Lesson 3 讲解常见的 HAWQ 数据库管理活动,配合 Lesson 5 的 HAWQ 表创建与查询练习。
官方说明 ↗通过 HAWQ Extension Framework(PXF)访问并查询外部 HDFS 数据源,对应教程 Lesson 6。
官方说明 ↗Lesson 4 提供教程数据与工作文件的下载,并演示创建 Retail 演示 schema 及把数据加载到 HDFS。
官方说明 ↗项目在 Github 接受 pull request,开发讨论走 HAWQ dev 邮件列表,缺陷与需求登记在 Jira 上。
官方说明 ↗已有 HDFS 数据、希望用 SQL 而非 MapReduce 直接查询的团队,可以顺着官方 2.x 教程从环境检查走到 PXF 外部数据访问。
官方提供沙箱虚拟机与 Docker 环境两种上手路径,适合先把 Runtime Environment 和 Cluster Administration 两课跑一遍。
包括商业发行版(如 Pivotal HDB)与源码编译两种方式,选择前需要评估运维投入,官网未公开支持与定价信息。
HAWQ 是需要自行搭建单节点或多节点集群的引擎,不是注册即用的托管服务,没有集群环境无法开始。
它是 Apache 孵化器下的一个原生 SQL-on-Hadoop 引擎,目标是让用户用标准 SQL 查询 Hadoop 上的数据。入门教程把集群管理、数据库创建、HAWQ 表查询以及访问外部 HDFS 数据串成一条完整路径。
教程的前提是已经有一个运行中的 HAWQ 2.x 单节点或多节点集群。取得集群的方式有三种:商业产品发行版(例如 Pivotal HDB)、沙箱虚拟机或 Docker 环境、自行从源码编译安装。
通过 HAWQ Extension Framework(PXF)。教程最后一课就是使用 PXF 访问外部 HDFS 数据源,前面还会先下载教程数据、创建 Retail 演示 schema 并把数据加载到 HDFS,方便对照练习。
。只列出可选的商业产品发行版(如 Pivotal HDB),具体费用需要到对应发行版的官方页面确认。
项目在 Github 接受 pull request,开发讨论在 HAWQ dev 邮件列表进行,缺陷与需求登记在 Jira 上。想提功能或修 bug 都可以从这三个入口参与。
从官方 User Guide 2.3.0.0-incubating 的 Getting Started 教程开始。它先讲前提条件,然后依次是运行时环境、集群管理、数据库管理、示例数据与 schema、HAWQ 表、PXF 六课,按顺序做一遍即可跑通基础流程。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| HAWQ本工具 | 4.3 | 未标价 | 原生 SQL 查询;集群管理;数据库管理;PXF 外部数据访问 | Web |
| Trafodion | — | 未标价 | 一个针对大数据应用的成熟的 SQL-on-Hadoop 的数据库管理系统 | Web / API |
| Hive | — | 未标价 | Hadoop 生态系统中的第一个 SQL 框架 | Web / API |
| Kylin | — | 未标价 | 一个开源的分布式分析引擎,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(O | — |
| cloudera | — | CDP 公有云按 CCU 小时计费,Data Engineering $0.07 | 基于 hadoop 的大数据分析与管理软件 | Web / API |
| Calcite | — | 未标价 | 独立于存储与执行的 SQL 解析、优化引擎,广泛应用于各种离线、搜索、实时查询引擎 | JDBC |