亚马逊云科技开源File Mover Express:加速本地与S3大文件互传

资讯 AI 行业观察 作者:Renato Losio 全文 1559 字 · 约 4 分钟读完 配图 1 张 分类亚马逊开源

最近,亚马逊云科技发布了 File Mover Express,这是一款基于 Apache 2.0 许可的开源应用程序,用于在本地系统与 Amazon S3 之间传输大文件。该工具支持 macOS、Windows 和 Linux 系统,具备并行传输、自动性能调优、重试、暂停和恢复以及文件完整性验证等功能。 File M

所属频道 大厂动态开源生态

亚马逊云科技近日推出File Mover Express,这是一款开源应用,采用Apache 2.0许可,专门用来在本地系统和Amazon S3之间搬运大文件。macOS、Windows、Linux三个平台都能跑,并行传输、自动性能调优、重试、暂停恢复、文件完整性校验这些能力都配齐了。

按照官方说法,这个工具的目标是“以线速将媒体文件传输到 S3”。它支持自动调优的并行传输、暂停与恢复,带桌面图形界面,也有可编写脚本的命令行界面,还能监控指定文件夹并自动上传。

传输引擎主要用Go语言写,图形界面则是TypeScript加Angular。另外,它可以通过MCP跟AI助手集成,身份验证方面支持基于OIDC的身份提供商。亚马逊云科技高级解决方案架构师Provanshu Dey、高级软件工程师Asbjorn Kjaer、解决方案架构师Matthew Muccio以及高级客户解决方案经理Ross Dickson对此解释说:

这套工具的核心是一个守护进程式的传输引擎,传输操作和桌面会话是分开的。守护进程可以跑在任何你选定的机器上——工作站、数据中心服务器,或者Amazon Elastic Compute Cloud (Amazon EC2)实例都行。控制方式有两种:拖放式图形用户界面 (GUI),或者可编写脚本的命令行界面(CLI),连接经过加密并设有密码保护。

媒体团队经常要在本地存储和云之间搬数太字节的素材,截止期限往往很紧,而且传输任务得在发起者断开之后继续跑下去。传统传输客户端一旦桌面会话结束就可能停掉,商业替代方案又可能牵扯许可费用、专有协议或第三方基础设施。File Mover Express上传下载都支持,团队可以把大文件传到Amazon S3,也能取回来做编辑、审核或恢复。

亚马逊云科技开源File Mover Express:加速本地与S3大文件互传(配图 1)

图片来源:GitHub 项目

具体做法是把大文件切成多个数据块,借多部分上传技术并行推送。自动调优模式下,并行流数量和数据块大小会根据可用连接情况动态调整,目的是把吞吐量提上去。传输过程带可配置的重试机制,暂停和恢复则细化到文件级。Dey、Kjaer、Muccio和Dickson补充说:

安全方面,传输中的文件、静止状态的文件以及控制平面都做了加密。所有传输走HTTPS协议,S3存储桶的访问由AWS身份与访问管理(IAM)管控,遵循已记录的最小权限策略……对于采用集中式身份管理的团队,File Mover Express支持通过OpenID Connect(OIDC)实现单点登录。

校验和是在后台算的,结果缓存在本地,文件没变化就直接复用。算法可选MD5、XXHash、XXHash64和XXH3,在兼容性和哈希性能之间按需取舍。传到远端存储桶时,用户可以开启S3传输加速;带宽限制则用来控制网络占用。Dickson在LinkedIn上写道:

摄像机存储卡、日常素材、交付成果,媒体行业里要传这些东西的人,常被几个老问题绊住。File Mover Express 就是冲这些痛点来的,由亚马逊云科技团队里的一批人做出来。把大型媒体文件搬到云端,本来也不该占掉一天里最费时的那一段。

源代码已在GitHub上开源,macOS、Windows和Linux的预编译包也一并提供。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 华为云上线盘古2.1-Pro:Agent、代码、推理效率升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  2. 美国ULA“火神”火箭复飞失利,亚马逊40颗宽带卫星全损

    ULA发射负责人根据飞行数据确认,火箭在升空约10分钟后出现异常,未能将卫星送入低地轨道,目前尚无具体数据判断事故原因。亚马逊已从ULA购买了38次“火神”发射服务,当天的任务是这一合同中的首次执行。随着首飞失利,亚马逊借助“火神”大规模部署低轨卫星的节奏将不可避免地受到影响。ULA表示,将与亚马逊及其他相关机构密切合

    来源 TechWeb
  3. 亚马逊40颗卫星随“火神”升空失利,ULA成立以来首次全损

    ULA发射负责人根据飞行数据确认,火箭在升空约10分钟后出现异常,未能将卫星送入低地轨道,目前尚无具体数据判断事故原因。亚马逊已从ULA购买了38次“火神”发射服务,当天的任务是这一合同中的首次执行。随着首飞失利,亚马逊借助“火神”大规模部署低轨卫星的节奏将不可避免地受到影响。ULA表示,将与亚马逊及其他相关机构密切合

    来源 TechWeb
  4. 亚马逊云算力卖到2028年?分析师称说法夸大

    亚马逊首席执行 Andy Jassy 近日表示,亚马逊云科技 2027 年的已承诺云算力已基本售罄,2028 年的也有很大一部分也已经分配完毕,不过该公司仍然为“按需服务”(On Demand)、EC2 和 Bedrock 预留了余量。 据路透社 10 月 23 日报道,Jassy 是在与 Andreessen Hor

    来源 AI 行业观察
  5. ULA火神火箭首次完全失败:升空10分钟异常,40颗亚马逊卫星未入轨

    IT之家 11 月 16 日消息,美国联合发射联盟公司(ULA)的火神(Vulcan)运载火箭于当地时间 11 月 15 日从佛州卡纳维拉尔角太空军基地升空,执行亚马逊低轨卫星星座 Amazon Leo 的首次发射任务。 不过,火箭升空约 10 分钟后出现异常,未能将搭载的 40 颗卫星送入预定轨道。这是 ULA 自

    来源 AI 行业观察
  6. 英伟达份额降至28%,摩根大通称CUDA壁垒正被AI攻破

    摩根大通指出,英伟达在2026年算力协议中份额仅剩28%,AMD、谷歌TPU等竞品强势崛起;与此同时,CUDA护城河三天被AI攻破。开源市场则遭遇监管收紧,出口合规风险上升。尽管英伟达当前估值具备吸引力,但支撑高增速预期的两大引擎均已动摇。

    来源 华尔街见闻
  7. 开源社区请愿黄仁勋回归英伟达

    据MIT Technology Review报道,一项要求恢复黄仁勋担任英伟达CEO的请愿在社交媒体上流传,并出现包括埃隆·马斯克在内的知名签名者。事件折射出开源社区对英伟达GPU生态、AI算力供应与公司领导力的复杂情绪。本文梳理请愿背景、黄仁勋与开源运动的关系,并分析其象征意义。

    来源 AI 科技快讯
  8. Audible上线AI音频预览:帮你少花十几小时试错

    亚马逊旗下有声书平台Audible推出AI生成的音频预览功能,通过概括书籍主题与读者评价,帮助用户在浩如烟海的有声书中快速找到心仪之作。这一举措被视为有声书平台应对内容过剩、提升发现效率的最新尝试。

    来源 AI 科技快讯
  9. 摩根大通:英伟达2026年后算力份额仅28%,CUDA壁垒正被AI攻破

    英伟达正面临来自两端的结构性压力,而这与创始人黄仁勋的离任同等重要,甚至可能更为深远。摩根大通策略师Michael Cembalest在最新研报《英伟达与AI的下一步》中指出,前沿AI实验室正将采购重心向AMD、谷歌、亚马逊等多家供应商分散,英伟达在2026年后计算协议中的份额仅占28%。与此同时,开源模型生态圈则面临

    来源 腾讯网
  10. 火神火箭首飞亚马逊任务失利:升空10分钟异常,40颗卫星未入轨

    美国联合发射联盟公司的“火神”运载火箭15日首次执行亚马逊低地轨道卫星发射任务,但升空约10分钟后出现异常,未能将搭载的40颗宽带通信卫星送入预定轨道。该公司发射负责人根据飞行数据确认,火箭在发射升空约10分钟后出现异常,未能将亚马逊卫星送入低地轨道。目前尚无具体数据判断事故原因。 (新华社)

    来源 AI 行业观察
  11. 黄仁勋辞任后,奥尔特曼打破沉默:英雄有缺陷

    【TechWeb】11月17日消息,在英伟达创始人黄仁勋突然辞任数日后,OpenAI首席执行官萨姆·奥尔特曼打破沉默。他没有选择站队,也没有回避。 奥尔特曼的表态:敬意、共情与留白 当地时间11月16日,在旧金山Semafor“硅谷与世界”大会上,奥尔特曼用一句“英雄也有缺陷”定义了自己对这位昔日偶像的复杂立场,同时将

    来源 AI 行业观察
  12. 华为云CloudRobo-WM1.2亮相:机器人“大脑”自研后与模型公司竞争?

    华为云开始亲自下场训练具身智能的“大脑”。11月16日,在华为云CloudRobo具身世界模型发布会上,华为云正式发布昇腾原生具身世界模型CloudRobo-WM1.2,并宣布将其开源。这款模型能够在理解物理环境的基础上预测未来变化,并直接生成机器人动作。按照华为云披露的测试结果,其在RoboTwin 2.0、LIBE

    来源 腾讯网
  13. 腾讯混元Hy4 flash发布:每百万Token输入0.5元,张军称性价比最高

    【TechWeb】11月16日消息,今日,腾讯混元最新语言模型Hy4 flash正式发布。腾讯公司公关总监张军在社交平台发文称,“这是迄今为止性价比最高的混元模型。” 混元Hy4 flash每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比Hy4大幅降低。 该模型总参数量为224B(其中64B

    来源 AI 行业观察
  14. Google三款新模型齐发:Hydrogen提速19%,API配额省24%

    2026年11月13日 AI 动态:Google 发布 Gemini 4 Hydrogen、Carbon 和 Decision 1,以价格和配额效率发起攻势;United Airlines 因安全风险屏蔽 AI 订票 Agent,PayPal 通过工程手段将助手准确率提升至 95%;开放权重模型向生命科学领域下沉。

    来源 AI 应用前沿
  15. 加州起诉OpenAI:指控AI智能体失控引发网络安全事件

    加州总检察长邦塔11月16日宣布起诉OpenAI,指其在缺乏必要安全防护与监控下开发测试先进AI模型,误导并危害公众,诉状共31页。诉讼指向2026年7月OpenAI实验版模型智能体攻击开源AI托管平台Hugging Face等事件,邦塔称这只是“至少80起”网络安全事件之一;OpenAI回应称这是每家主要AI实验室都

    来源 凤凰科技
  16. DeepSeek Harness 实战:从零搭建你的第一个 AI Agent 工作流

    DeepSeek Harness (dsh) 是一款开源的 Agent 运行框架,它让 AI 能够直接操作你的本地文件系统和终端。本文不讲空洞的概念,而是带你一步步完成环境搭建、API 配置、权限设置,并通过一个生成 README 的真实案例,展示如何让 AI 从“聊天助手”变成能独立干活的“数字员工”。适合希望提升开

    来源 AI 应用前沿
  17. 谷歌整柜卖TPU:推理性价比压过GB200,直指英伟达地盘

    谷歌打破惯例,首次向外部客户直接销售整套TPU系统,试图通过硬件外售分摊研发成本并扩大市场份额。最新测试显示,其第七代TPU在特定推理场景下的每美元性能优于英伟达GB200。配合TorchTPU开源以兼容PyTorch生态,谷歌正从专用芯片和软件适配两端发力,挑战英伟达在AI算力领域的绝对主导地位。

    来源 AI 应用前沿
向下滚动自动加载更多