地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA

资讯 IT之家 全文 1023 字 · 约 3 分钟读完 配图 8 张 分类SOTA模型发布大模型自动驾驶

地平线机器人实验室发布原生视频几何基础模型 LoFT,可从 RGB 视频中还原场景三维结构。该模型在多项深度估计指标上达到 SoTA 水平,适配机器人、自动驾驶等多场景空间感知需求。#地平线#

所属频道 模型发布智能汽车与出行

IT之家 11 月 19 日消息,11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。据介绍,该模型能够从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。

官方称,LoFT 原生面向连续视频建模,采用双循环 Transformer 架构,将跨帧视觉信息聚合与相机状态迭代优化相结合,用于挖掘视频中的时序关联与多视角几何信息。

地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA

IT之家从官方公布信息获悉,第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,利用相邻帧的连续性与跨视角的几何关联;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算。

模型结合双循环特征预测逐帧深度及其置信度,恢复场景的可见三维结构。

地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA

▲ 原生双循环 Transformer:LB1 通用几何特征提取,LB2 实现 Coarse2Fine 几何与姿态估计

官方表示,为支撑规模化训练,团队搭建了统一的三维重建数据处理与训练平台,约 297 万条有效训练序列、9.62 亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景,并通过统一的数据清洗、质量筛选和采样策略提供数据基础。

图片

▲ 高频动态场景下的精准空间感知

图片

▲ 实现文字级精细几何重建

图片

▲ 驾驶场景中对动态车辆的鲁棒视觉重建

图片

▲ 复杂生活场景高精度重建

评测方面,研究团队在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中将 LoFT 与 VGGT-Ω、DA3-Giant 等代表性模型比较。其中 SpatialBench 覆盖 12 个数据集、98 个连续视频场景;ClassicBench 整合 7 个经典视频重建基准;VRBench 涵盖机器人、自动驾驶及通用视频场景。据官方公布信息,LoFT 在多项深度估计指标上达到 SoTA。

图片

▲ 通用 3D 空间重建评测 SpatialBench,多项指标达到 SoTA

图片

▲ 在经典重建 ClassicBench 和连续视频重建 VRBench 中达到 SoTA 效果

在应用侧,官方称 LoFT 可利用连续视频中的时序与多视角几何信息,恢复场景三维结构与相机运动轨迹,覆盖机器人第一人称视频、动态街道、室内操作及开放环境探索等场景。

参考

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 蚂蚁灵波开源触觉模型LingBot-Touch:不做本体,通用底座值多少钱?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳具身智能赛道已经从大脑卷到了手指尖。11月10日,蚂蚁集团旗下的蚂蚁灵波科技(以下简称蚂蚁灵波)发布并开源触觉基础模型LingBot-Touch。它能将不同信号转化为同一套触觉表征,让机器人积累的“手感”在不同传感器、灵巧手、

    来源 腾讯网
  2. 特斯拉Model Y无方向盘版:最多7座,主攻多人出行

    11月19日,正在中国参加APEC峰会的马斯克通过视频连线出席《纽约时报》DealBook峰会,剧透了特斯拉的下一款自动驾驶车型——一款不配备方向盘和踏板的Model Y,最多可搭载6至7名乘客,主要面向家庭和多人出行场景。这是继Cybercab之后,特斯拉第二款完全取消人工驾驶装置的车型,也是其自动驾驶产品矩阵中首次

    来源 TechWeb
  3. 马斯克剧透无方向盘版Model Y:最多坐7人,特斯拉自动驾驶矩阵再落一子

    11月19日,正在中国参加APEC峰会的马斯克通过视频连线出席《纽约时报》DealBook峰会,剧透了特斯拉的下一款自动驾驶车型——一款不配备方向盘和踏板的Model Y,最多可搭载6至7名乘客,主要面向家庭和多人出行场景。这是继Cybercab之后,特斯拉第二款完全取消人工驾驶装置的车型,也是其自动驾驶产品矩阵中首次

    来源 TechWeb
  4. 寒武纪适配商汤SenseNova Loop-9B:Day 0打通循环计算推理链路

    IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。 寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。 据介绍,该模型通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在有限的参数规模下扩展计算

    来源 AI 行业观察
  5. 腾讯Q3营收2073.4亿元增8%,混元Hy4、WorkBuddy数据披露

    腾讯控股发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“小微”灰测范围持续扩大;AI需求带动云服务收入同比增长

    来源 TechWeb
  6. 腾讯三季度营收2073.4亿元:AI业务多点突破,云服务收入增35%

    腾讯控股发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“小微”灰测范围持续扩大;AI需求带动云服务收入同比增长

    来源 TechWeb
  7. OpenAI发布GPT-6.2双版本:3D设计亮眼,实测体验两极

    千呼万唤之中,OpenAI 终于把 GPT-6.2 推到了台前,一口气推出两个版本:GPT-6.2 Astra 和 GPT-6.2 Sol。有意思的是,OpenAI 这次又赶在了一个微妙的时间点出牌。眼下,Anthropic 上市的消息仍在持续发酵,AI 行业的竞争也愈发激烈。OpenAI 偏偏选在此时发布新一代模型,

    来源 腾讯网
  8. GPT-6.2 Astra被批难用:开发者为何集体吐槽?

    出品|虎嗅科技组作者|黄天媛编辑|苗正卿头图|视觉中国今日凌晨,灰测了半个月的GPT-6.2终于正式发布。这次OpenAI带来的是GPT-6.2 Astra和Sol,一个旗舰,一个日常主力。顶着Anthropic、Google压力端上桌的新模型,刚一发布,就在X上被骂成了筛子,超多人批评6.2干活不好用。开发者Theo

    来源 腾讯网
  9. 纽娲机器人创始人杨睿刚:自动驾驶踩过的数据坑,机器人还会再踩一遍丨物理 AI 50 人

    做了十多年自动驾驶之后,杨睿刚决定把下一次创业的方向,从高速公路转向居民社区。 在此之前,他曾在美国高校研究三维视觉,后来加入百度研究院,负责机器人与自动驾驶实验室,又担任嬴彻科技CTO,推动自动驾驶重卡前装量产。从研究算法到让几十吨重的卡车真正跑上高速公路,他经历了自动驾驶从技术探索走向商业化的过程。 2024年,杨

    来源 AI 行业观察
  10. Osmo训练气味基础模型:30名闻香师为AI补上嗅觉

    在新泽西州纽瓦克机场附近的一间实验室里,约30名经验丰富的人类嗅辨员正逐一品鉴地球上的各种气味。他们记录的“坚果味”“桃子味”“海洋味”等笔记,会与化学分析结果交叉比对,为AI初创公司Osmo打造其号称全球首个“气味基础模型”提供训练数据。这家公司希望让机器学会“闻”,把嗅觉这一最难数字化的感官真正带入AI时

    来源 AI 科技快讯
  11. 微软Decision-1.1决策模型发布:68分排第8,速度提升2倍

    智东西11月18日消息,今日,微软发布新一代决策模型Microsoft-Decision-1.1。在Artificial Analysis决策指数榜单中,Microsoft-Decision-1.1获得68分,排名第8,比微软首款决策模型高出6分,领先于Jev 1.14、谷歌Gemini Decision 1以及Ope

    来源 AI 行业观察
  12. 刚刚,Gemini 4 Neon 突袭发布,性价比一夜斩杀 Opus 5.5

    谷歌发布 Gemini 4 Neon,主攻软件工程、知识工作与科学推理,提供百万上下文窗口,每百万输入、输出 Token 分别为 3 美元和 15 美元。新模型发布当天上线 Gemini App、AI Studio 和企业端 API,文章对比了其与 Claude Opus 5.5 等模型的表现。

    来源 爱范儿
  13. 微软MAI Realtime 1发布:语音对语音模型价格仅对手三分之一

    微软在 Ignite 2026 发布首款语音对语音模型 MAI Realtime 1,主打真实企业场景。它能处理打断、快速确认、等对方说完等对话细节,嘈杂或多人同时说话时也能听懂请求;需深度思考时可调用更强推理引擎,连接企业系统完成预订、客服等操作,语气风格可用提示词调教。价格是重头,基础语音对语音使用费按音频计,定价

    来源 AI 产业速递
  14. 拖更两个月的GPT-6.2,居然是一个“汇报狂魔”?

    美国当地时间11月17日,OpenAI正式推出GPT-6.2 Astra和GPT-6.2 Sol。 这场发布来得比外界预期更晚。早在10月底,就有网友从ChatGPT用量记录中扒出疑似GPT-6.2的灰测痕迹,此后模型标识和测试截图不断流出。此前媒体曾预测新模型最快于11月6日发布,最终发布日期比这一预期晚了11天。

    来源 AI 行业观察
  15. 微软发布 MAI Realtime 1:每音频分钟 0.01 美元,能被打断会打电话

    在昨日(11 月 17 日)的 Ignite 2026 大会上,微软发布首款语音对语音模型 MAI Realtime 1,主打真实企业场景。它能处理打断、快速确认、等对方说完等对话细节,嘈杂环境或多人同时说话时也能听懂请求。任务需要深想时还能调用更强推理引擎,连接企业系统完成预订、客服处理等操作,语

    来源 AI 开发者社区
  16. 纳格尔获2026伯格鲁恩哲学奖:AI意识论“荒谬可笑”

    著名哲学家托马斯·纳格尔因在非人类意识领域的里程碑研究,荣获2026年伯格鲁恩哲学奖(奖金100万美元)。他在接受WIRED采访时,对当前AI意识热论泼冷水,直言将大语言模型视为有意识存在“简直荒谬”。本文梳理纳格尔的意识哲学观点,分析AI意识争论的背景与误区。

    来源 AI 科技快讯
  17. 总参数 224B、支持 100 万超长上下文!腾讯混元重磅开源 Hy4 flash 家族,多端生态全面上线

    人工智能开源生态再度迎来重磅更新。腾讯混元于2026年11月18日正式宣布开源 Hy4flash 模型,为开发者和广大用户带来了一款主打极致性价比的全新大模型选择。 家族矩阵全线亮相,多渠道支持便捷部署 此次腾讯混元推出的开源版本覆盖了多个不同规格,具体包含 Hy4flash、Hy4flash-FP

    来源 AI 开发者社区
  18. Model ML融资2.5亿美元:AI代理替投行分析师改模型、做PPT

    据TechCrunch报道,AI创业公司Model ML完成2.5亿美元融资,主打为投行与咨询顾问自动更新财务模型和演示文稿。其代理能理解交易全貌,在新信息影响分析时自动同步修改。这轮融资折射出资本对金融垂直AI的押注:投行初级员工的建模与做PPT苦活,正成为大模型最现实的落地场景之一。

    来源 AI 科技快讯
  19. Anthropic花34亿美元买发电机:AI竞赛打到电力这关

    “算力的尽头是电力”,这句话正在成为大模型时代的铁律。AI巨头们已经从早期的抢GPU、抢算力,演变成了如今的抢发电机。 近期,Anthropic豪掷34亿美元买下1.7吉瓦燃气发电产能的举动,引发了科技圈的广泛关注。 这种跳过中间环节、直接掌控能源基础设施的激进选择,不仅将整个行业的电力焦虑摆上台面,也揭开了新一轮资源

    来源 AI 行业观察
  20. 腾讯WorkBuddy日均Token消耗超100万亿:居国内AI产品之首

    11月18日,腾讯控股(00700.HK)发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“

    来源 AI 开发者社区
  21. GPT 像极了“五条人”:刚想淘汰它,6.2-Sol 又杀回我的主力工位了

    哈喽,大家好,我是刘小排。就在刚才(北京时间 11 月 18 日凌晨),OpenAI 发布了两个新模型:GPT-6.2 Sol 和 GPT-6.2 Astra。这个模型是今天凌晨刚发布的,现在也是北京时间的凌晨。它一上线,我就把手里憋了好几个月的 GPT-6.1 时代的 bad case 一口气全扔给它,结果它都做得还

    来源 腾讯网
  22. 单日新增 200 辆,Cybercab 在特斯拉得州 Robotaxi 车队占比超一半

    IT之家 11 月 19 日消息,特斯拉单日向得克萨斯州 Robotaxi 无人驾驶出租车车队新增 200 辆 Cybercab,创下该车型单日新增数量纪录。这批专为自动驾驶打造的双座车型在得州的登记数量由此突破 750 辆。 根据得克萨斯州机动车辆管理局的自动驾驶汽车登记记录,这批车辆于当地时间 11 月 17 日下

    来源 AI 行业观察
  23. DeepSeek长文本限流引发差评潮:免费模式遇算力考题

    随着AI技术迅速普及,免费与开源成为行业繁荣核心引擎,但庞大用户基数与有限算力资源碰撞,摩擦显现。近日,国内AI领军者DeepSeek对部分超长上下文功能限流,引发应用商店差评潮甚至极端投诉;长对话与角色扮演等需求引爆争议,折射大模型免费模式背后的生态痛点。

    来源 AI 产业速递
  24. Astra for Law登顶LAB-AA:20.8%全通过率,幻觉率0.03次

    OpenAI于2026年11月17日发布Astra for Law 6.2,这是一个基于GPT-6.2 Astra的法律专项配置。在Harvey与Artificial Analysis联合开发的LAB-AA v1.1基准中,该模型以20.8%的全任务通过率位列第一,覆盖24个法律执业领域的120项私有任务,材

    来源 AI 科技快讯
向下滚动自动加载更多