声明式类 R 语言
提供语法接近 R 的声明式脚本语言栈,按数据科学流程的不同任务以及不同专业程度的用户分层,高层脚本不需要手写分布式细节。
官方说明 ↗拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Apache 开源的声明式机器学习系统,用类 R 语法跨本地与 Spark 执行
SystemML(现以 SystemDS 名义维护)是 Apache 软件基金会下的开源机器学习系统,覆盖数据集成、清洗、特征工程到分布式模型训练与部署的完整数据科学流程。它提供类 R 语法的声明式脚本语言,脚本会被编译成本地内存中 CPU、GPU 操作与 Apache Spark 分布式操作混合的执行计划,让同一份高层脚本既能在单机跑也能扩到集群。项目的 Documentation 页面按版本列出从 0.12.0 到 3.3.0 共 14 个发布版本及对应 Release Notes。官网未公开具体定价档位与企业支持服务细则。
SystemML 是 Apache 软件基金会下的开源机器学习系统,面向需要把数据科学流程从数据接入一直做到模型部署的团队。它把数据集成、清洗、特征工程、模型训练与部署服务串成一条端到端链路,而不是只做其中某一环。
它提供的核心是声明式语言栈,语法接近 R,并针对数据科学流程的不同任务、不同专业程度的用户做了分层。用户写的高层脚本不会直接执行,而是先被编译成本地内存中 CPU、GPU 操作与 Apache Spark 分布式操作的混合执行计划,因此同一份脚本可以在单机环境下运行,也可以在 Spark 集群上横向扩展。
使用方式按角色区分:只写分析脚本的数据科学家直接上手类 R 语法;需要调优的执行细节交给编译与执行计划层;工程和运维侧则关心它在本地内存与 Spark 集群两种运行形态之间的切换。文档按版本提供编程指南、参考指南与 API 文档。
提供语法接近 R 的声明式脚本语言栈,按数据科学流程的不同任务以及不同专业程度的用户分层,高层脚本不需要手写分布式细节。
官方说明 ↗覆盖数据集成、清洗、特征工程、本地与分布式模型训练,以及部署与 serving,形成完整闭环而不只是训练环节。
官方说明 ↗高层脚本被编译成本地内存 CPU 与 GPU 操作、以及 Apache Spark 分布式操作混合的执行计划,同一脚本可在单机与集群间切换。
官方说明 ↗Documentation 页为每个发布版本提供编程指南、参考指南与 API 文档,可对照具体版本查阅,避免跨版本接口混用。
官方说明 ↗把 SystemML 当作「同一份类 R 脚本、单机和 Spark 集群都能跑」的机器学习执行层来用是值得的:从数据集成、清洗、特征工程一直到训练与部署,链路是打通的一套,而不是分散的几个库;脚本被编译成本地 CPU、GPU 与 Spark 混合执行计划,切换运行规模时不必重写逻辑。需要留意的是它的使用场景偏工程化,需要能接受声明式语言栈与编译执行这一套模型;文档按版本切分,跨版本迁移时要对照具体版本的 Release Notes。官网未公开价格与商业化支持信息,是否引入要看团队是否有自建与运维 Spark 环境的条件。
熟悉 R 语法、要写特征工程与模型训练脚本的人可以直接上手声明式语言,不必自己写分布式调度。
需要把清洗、训练、部署串成一条流水线,并让脚本在单机与 Spark 之间切换的工程团队较匹配。
已有 Spark 集群、想在上面跑高层机器学习脚本的运维与平台侧人员,执行计划层会直接用到集群资源。
如果日常只是单机 Notebook 里跑小数据,引入声明式语言栈与编译执行计划带来的学习成本可能超过收益。
官网未公开价格与商业支持细则,走采购流程、需要明确服务承诺的团队要先确认这些信息是否可得。
是同一项目的两个名称。官网首页以 SystemDS 介绍这套开源机器学习系统,而 Documentation 页面按版本列出的条目写作 SystemML/DS,版本号从 0.12.0 一直排到 3.3.0。查阅资料时按具体版本号定位即可,不必把两者当成两套产品。
它提供的是类 R 语法的声明式语言栈,并且按数据科学流程的不同任务、不同专业程度的用户做了分层。写高层脚本时不需要手写本地与分布式执行细节,这些由编译阶段生成的混合执行计划来处理。
脚本会被编译成本地内存中的 CPU 与 GPU 操作,以及 Apache Spark 上的分布式操作,两者构成混合执行计划。因此既可以在单机内存模式下运行,也可以放到 Spark 集群上扩展,同一份高层脚本不必为两种规模各写一遍。
Documentation 页面为每个发布版本提供编程指南、参考指南与 API 文档,列出的版本包括 0.12.0、0.13.0、0.14.0、0.15.0、1.0.0、1.1.0、1.2.0、2.0.0、2.1.0、2.2.2、3.0.0、3.1.0、3.2.0 与 3.3.0,每个版本都附带对应的 Release Notes。
官网未公开具体定价档位、企业支持套餐或商业授权费用。作为 Apache 软件基金会下的开源项目,代码可自行获取与部署;如果涉及采购流程,需要先确认官方是否提供对应的商业支持与报价信息。