亚马逊云科技开源File Mover Express:加速本地与S3大文件互传
最近,亚马逊云科技发布了 File Mover Express,这是一款基于 Apache 2.0 许可的开源应用程序,用于在本地系统与 Amazon S3 之间传输大文件。该工具支持 macOS、Windows 和 Linux 系统,具备并行传输、自动性能调优、重试、暂停和恢复以及文件完整性验证等功能。 File M
亚马逊云科技近日推出File Mover Express,这是一款开源应用,采用Apache 2.0许可,专门用来在本地系统和Amazon S3之间搬运大文件。macOS、Windows、Linux三个平台都能跑,并行传输、自动性能调优、重试、暂停恢复、文件完整性校验这些能力都配齐了。
按照官方说法,这个工具的目标是“以线速将媒体文件传输到 S3”。它支持自动调优的并行传输、暂停与恢复,带桌面图形界面,也有可编写脚本的命令行界面,还能监控指定文件夹并自动上传。
传输引擎主要用Go语言写,图形界面则是TypeScript加Angular。另外,它可以通过MCP跟AI助手集成,身份验证方面支持基于OIDC的身份提供商。亚马逊云科技高级解决方案架构师Provanshu Dey、高级软件工程师Asbjorn Kjaer、解决方案架构师Matthew Muccio以及高级客户解决方案经理Ross Dickson对此解释说:
这套工具的核心是一个守护进程式的传输引擎,传输操作和桌面会话是分开的。守护进程可以跑在任何你选定的机器上——工作站、数据中心服务器,或者Amazon Elastic Compute Cloud (Amazon EC2)实例都行。控制方式有两种:拖放式图形用户界面 (GUI),或者可编写脚本的命令行界面(CLI),连接经过加密并设有密码保护。
媒体团队经常要在本地存储和云之间搬数太字节的素材,截止期限往往很紧,而且传输任务得在发起者断开之后继续跑下去。传统传输客户端一旦桌面会话结束就可能停掉,商业替代方案又可能牵扯许可费用、专有协议或第三方基础设施。File Mover Express上传下载都支持,团队可以把大文件传到Amazon S3,也能取回来做编辑、审核或恢复。
图片来源:GitHub 项目
具体做法是把大文件切成多个数据块,借多部分上传技术并行推送。自动调优模式下,并行流数量和数据块大小会根据可用连接情况动态调整,目的是把吞吐量提上去。传输过程带可配置的重试机制,暂停和恢复则细化到文件级。Dey、Kjaer、Muccio和Dickson补充说:
安全方面,传输中的文件、静止状态的文件以及控制平面都做了加密。所有传输走HTTPS协议,S3存储桶的访问由AWS身份与访问管理(IAM)管控,遵循已记录的最小权限策略……对于采用集中式身份管理的团队,File Mover Express支持通过OpenID Connect(OIDC)实现单点登录。
校验和是在后台算的,结果缓存在本地,文件没变化就直接复用。算法可选MD5、XXHash、XXHash64和XXH3,在兼容性和哈希性能之间按需取舍。传到远端存储桶时,用户可以开启S3传输加速;带宽限制则用来控制网络占用。Dickson在LinkedIn上写道:
摄像机存储卡、日常素材、交付成果,媒体行业里要传这些东西的人,常被几个老问题绊住。File Mover Express 就是冲这些痛点来的,由亚马逊云科技团队里的一批人做出来。把大型媒体文件搬到云端,本来也不该占掉一天里最费时的那一段。
源代码已在GitHub上开源,macOS、Windows和Linux的预编译包也一并提供。