语音转写漏掉了多少信息:一个 5.8M 参数模型如何把它们找回来

资讯 腾讯网 作者:科技行者 全文 8267 字 · 约 21 分钟读完 分类汽车语音

你在听一段播客录音,主持人说了句"我觉得吧……",那个"吧"后面拖着的半秒叹气,被转写软件彻底吃掉了。同一段录音里,背景有一声很轻的汽车鸣笛,也被吃掉了。一顿饭的对话录下来,转写文本干净得像新闻稿,可你明明记得当时大家都在笑。这不是转写软件笨。这是它被设计成这样。Whisper 这类现代语音识别系统,从训练的第...

所属频道 智能汽车与出行

你在听一段播客录音,主持人说了句"我觉得吧……",那个"吧"后面拖着的半秒叹气,被转写软件彻底吃掉了。同一段录音里,背景有一声很轻的汽车鸣笛,也被吃掉了。一顿饭的对话录下来,转写文本干净得像新闻稿,可你明明记得当时大家都在笑。

这不是转写软件笨。这是它被设计成这样。

Whisper 这类现代语音识别系统,从训练的第一天起,目标就只有一个:把声音变成词。它们被喂进去海量"音频对应文字"的配对,学到的本领是忽略一切非语言的东西。叹气、咳嗽、笑声、背景里的音乐和喇叭,对它们来说是噪声,是要被压制掉的干扰。

可对人类听众来说,这些恰恰是理解对话的关键。

这篇论文想解决的就是这件事:让转写结果不仅包含词,还包含那些被丢掉的声音,而且要带上时间戳,精确到 40 毫秒。

事件的起点是作者自己的使用体验。他们在早期使用中最大的抱怨不是"误报太多",而是"漏掉的太多"。这个细节很关键,因为它决定了整个系统的设计方向:宁可多报,不可漏报,而且两种倾向要能切换。

先把这件事难在哪说清楚。

识别声音事件这件事本身不新鲜,学界有个专门的名字叫

*声音事件检测(Sound Event Detection,

*片段级打标签(

你要的是能把标签插进两个词之间的那种精度。这就难了,难在三处。

第一处是数据。公开的、带时间戳的非语言声音数据极其零散,而且各家标注方式完全不兼容:有的每段音频只标一个检测区域,有的用自由文本标签加时间,有的把符号直接嵌在转写文本里却不给时间,还有的整段录音只录一种声音。

第二处是这些声音和语音抢地盘。叹气、吸气、咂嘴这些发声又短又常常和词重叠,而且声学上和语音长得很像;而背景里喇叭、音乐、狗叫又长又边界模糊。

第三处是

*工作点(

现在来看这个系统长什么样。

整个模型只有 5.8M 参数,跑在一张

*Transformer 编码器:一种靠自注意力机制建模序列中任意两个位置关系的网络结构,擅长捕捉长距离依赖。

架构本身并不花哨。8 秒音频先变成 64 维的

*log-mel 频谱图:把音频按人耳感知特性压缩后的频率时间图,横轴是时间,纵轴是频率,颜色深浅是能量。

这里有个细节值得停下来看。五个卷积块里,前两个只沿频率方向降采样,后两个才同时沿频率和时间降采样,最终时间轴从 801 帧压缩到 201 步。每个输出步长依赖 31 个 mel 帧,也就是大约 0.33 秒的音频。

为什么要这样排布?因为发声事件本来就短,如果时间轴压得太狠,一个 0.3 秒的咳嗽就只剩两三个时间步,模型根本来不及看清它的形状。而且前面的卷积层保留时间分辨率,可以让后续的 Transformer 在更细的时间粒度上做注意力。

这就像你用手机拍一段很短的烟花视频。如果你把每一帧都压缩合并,烟花从炸开到散去的过程就糊成一团光了。聪明的做法是,在早期阶段保留每一帧的细节,等到后面再考虑"这段整体上是什么"。

自注意力那一节也挺有意思。作者看了第一层和第六层的注意力权重,发现第一层主要看附近的帧,注意力呈现一条对角线带,54% 的注意力落在查询点前后 1 秒内;而最后一层把重量集中在少数几个所有查询都共享的时间位置上,呈现竖条纹,最受关注的五个位置拿走了 12.7% 的注意力,随机均匀分布应该只有 2.5%。

六层下来,平均关注距离从 1.76 秒涨到 2.59 秒。层越深,看的范围越宽。这个规律和前馈网络里"浅层抓局部、深层抓全局"的直觉吻合。

作者自己也克制地说:这只是一个片段,我们不能声称那些被关注的位置就对应特定事件。

模型只是故事的一半,另一半是数据怎么攒出来的。

七个公开数据集被拉到一起,总时长大约 168 小时的真实标注录音,来源五花八门。

这些数据最大的问题不是量不够,而是标签格式完全对不上。于是作者干了一件很枯燥但极其重要的事:写规则把它们统一到一套 54 类的分类体系里。

54 类分成两组,20 种说话人发声,包括呼吸、叹气、嗅、笑、咳、清嗓、哭、喘气、打哈欠、打鼾、喷嚏、擤鼻、咂嘴、呻吟、尖叫、耳语、喊、咀嚼、打嗝、咔哒;34 种背景声音,包括喇叭、车辆、警报、鸟、虫、狗叫、动物、儿童声音、婴儿哭、音乐、电视、机器、风扇、电话铃、震动、哔声、钟、哨、蜂鸣、掌声、欢呼、人群、脚步、风、雨、雷、水、敲、门、餐具、玻璃碎、枪声、爆炸、施工。

规则长什么样?我给你看一个真实的片段。Vaani 数据集有 319 种不同的自由文本标签,像 <horn>、<honking>、<vehicle horn> 都指同一件事。作者写了一个有序的

*正则表达式:一种用符号描述文本匹配模式的工具,"|"表示"或者","\b"表示词边界。

把整个 Vaani 的 106892 次标签出现统计一遍,99320 次映射到了某个类别,7502 次被忽略(因为标的是人在说话),70 次被丢弃。一个含有被丢弃标签的片段,不会被当作真实标注窗口使用,因为里面有一个声音没被标出来。

这里有一个特别值得说的设计。NonverbalTTS 只告诉你每个声音在转写文本里的位置,夹在两个词之间,但不给时间。作者用了一个三步骤流程把时间找回来。

第一步做词对齐,用 MMS

*强制对齐(

*CTC:一种允许输入输出长度不一致的序列训练目标,常用于语音识别。

*Viterbi 搜索:一种在序列上寻找最优路径的动态规划算法。

8620 个标注声音里,6360 个被成功定位,占 74%。具体是 4546 个呼吸、879 个笑、327 个嗅、224 个咳、187 次清嗓、107 次叹气、69 次呻吟、13 个喷嚏、8 次打鼾。每个类别还有个最长持续时间上限,从嗅的 1.0 秒到笑的 4.0 秒,超过就从能量最大的帧附近裁掉。

作者很诚实地承认:这些时间戳没有经过人工校验,继承了转写符号位置的所有误差。而且两个词之间短于 0.2 秒的停顿根本定位不了,比如一边说话一边笑的情况。

整个数据管线里最妙的一步,是把真实录音和合成混合拼到一起。

真实窗口的做法是把同一数据集的标注片段首尾拼接,每段归一化到有正负 6 分贝波动的

*语音床(Speech bed):作为背景的纯净语音片段,事件会被粘贴到它上面。

注意"均匀抽取"这四个字。这意味着稀有类别和常见类别出现的频率一样高。论文里的原始标注事件统计显示,呼吸有 71222 个事件,而打嗝只有 608 个,差了 117 倍。如果按自然分布训练,模型几乎学不会打嗝。

但光有合成数据不够。作者明确说:真实窗口教给模型事件在自然语境里听起来是什么样,这是合成粘贴做不到的。所以真实和合成都要。

*RMS 电平:均方根电平,衡量一段音频整体能量大小的常用指标。

到这一步还没完,还有一个更隐蔽的坑。

合成混合用的语音床来自 NVS-38K 和 NonverbalTTS 那些没有标注声音的片段。但这些片段并不是真的干净,里面可能有没被标出来的呼吸、嗅和笑。如果你把新事件粘上去,等于在教模型"呼吸是背景"。

作者的解决办法是:先训一个 31 类的初步检查点,让它跑一遍所有语音床和噪声池,标记出任何说话人类别或任意类别超阈值的帧,把标记向两侧各扩 0.32 秒,然后只保留至少 2 秒的最长未标记段。结果是 10105 个语音床保住了 9645 个(18.4 小时),2279 个噪声块保住了 2102 个(5.5 小时)。

这一步相当于给原材料做质检。你自己在家做饭,从超市买回来一袋"洗净"的青菜,直接下锅炒,结果吃到沙子。你要么自己再洗一遍,要么就得接受每次都有沙子。作者选了前一条路,而且他们不是靠人工挑,是让一个已经会识别这些声音的模型来挑。

训练配置方面,目标是帧级

*BCE:二元交叉熵,二分类任务里最常见的损失函数。

优化用

最终训练池是 171000 个 8 秒样本:30000 个合成混合,9000 个 NVS-38K,9000 个 Vaani,7000 个 NonverbalTTS,12000 个 AudioSet-Strong,再加上各自的增强副本。

增强手段列在表 4 里,我挑几条说说为什么选它们。插入静音的概率 0.5,插 1 到 2 段 0.2 到 1.5 秒的停顿,后面所有标签跟着平移。混响概率 0.25,

*RT60:混响时间,声源停止后声压衰减 60 分贝所需的时间,用来描述空间大小。

背景噪声概率高达 0.85,其中 40% 来自真实的 DNC 和 DEMAND 噪声池,20% 是 3 到 6 段语音床拼出来的嘈杂人声,10% 是带谐波的合成电源嗡声,剩下 30% 是白噪、粉噪、棕噪。

这里的选择逻辑很清楚:真实噪声优先,因为它们带着真实环境的统计特性,合成噪声只是补充覆盖不到的频段。

模型选型也值得说。每个 epoch 结束后,在固定的验证窗口上算帧级平均精度,取四组真实集和一组加噪集的均值最高者。注意合成集不参与选型,只作为参考显示。

*平均精度(Average Precision,AP):一种不依赖阈值的排序质量指标,等价于精度召回曲线下的面积。

为什么合成数据不参与选型?因为合成数据的事件位置是构造出来的,过于干净,模型在它上面表现好不代表真实场景好。用一个自己出的题来考自己,考满分也没有意义。

阈值校准是另一个关键设计。对每个类别,把标注它的那些来源的真实验证窗口的帧概率汇总起来,从 0.05 到 0.975 的候选里挑一个阈值。挑法有两种:最大化帧 F1 的叫平衡档,最大化帧 F2 的叫敏感档,F2 给召回的权重是精度的两倍。

*F2:精确率和召回率的调和平均变体,更偏向召回率,也就是宁可多报不可漏报。

为了不让阈值挑得过于乐观,作者把窗口分成奇偶两半,一半调阈值,另一半打分,再交换,取平均,这就是论文里一再出现的"两折交叉验证"。

*交叉验证:把数据切开,一部分用来调参数,另一部分用来评估,避免自己评自己。

还有个兜底机制。某个类别如果正样本帧少于 25 帧(也就是 1 秒),或者交叉验证 F1 低于 0.1,就被标记为"弱类",平衡档阈值抬到至少 0.9,敏感档阈值钳在 0.6 到 0.8 之间。意思是这类还是能用,但只在模型非常有信心时才触发。

推理阶段是概率转事件。音频按 8 秒窗、2 秒跳切分,重叠窗口的概率逐帧平均,每条类别轨迹做五帧(200 毫秒)中值滤波。一个事件被定义为超过 0.6 倍阈值的最大连续帧段,但其中必须至少有一帧超过阈值本身,这叫迟滞。同类的短段如果间隔小于 0.3 秒(说话人发声)或 1.0 秒(背景声)就合并,短于 0.15 秒的事件被丢弃。

*中值滤波:用邻域中位数替代当前值,能去掉孤立毛刺而不模糊边界。

*迟滞(Hysteresis):设置两个阈值,进入用高阈值、退出用低阈值,避免在边界上反复抖动。

最后一步是把事件并进转写。规则有四条:识别器已经转写出来的事件要删掉,比如整段词都是 uh、um、hmm 的填充词或者 ha、haha 的笑声标记;同类片段间隔小于 0.5 秒(说话人)或 1.5 秒(背景)的合并;词起始时间先改成非递减,然后把说话人标签或背景开标签插在第一个起始时间不早于事件开始的词之前,闭标签插在最后一个起始时间不晚于事件结束的词之后;相邻相同标签折叠。

作者特别强调一点:标签是插在词与词之间,而不是和词一起排序,所以识别器的词序永远不会被打乱,即使它的时间戳本身不单调。这个约束很重要,因为用户拿到转写后最不能接受的就是原本连贯的句子被拆得七零八落。

结果部分。论文诚实到我有点意外。

先说帧级。全部 54 类的宏平均 AP 是 0.265,剔除弱类后的 43 类是 0.324。最高的几个是音乐 0.884、叹气 0.725、喇叭 0.590、掌声 0.582、打鼾 0.551。有十一个类被判定为弱类:电视、风扇、脚步、哭、呻吟、咀嚼、门、哈欠、打嗝、擤鼻、敲击。

平衡档在 43 个可靠类上平均精度 0.352、召回 0.414、F1 0.351;敏感档精度 0.267、召回 0.521、F2 0.400。从平衡档切到敏感档,召回涨了 10.7 个百分点,精度掉了 8.5 个点。

事件级结果才是真正的考验。在 48 个至少 10 个留出事件的类别上,共 9367 个事件,敏感档宏召回 0.491、宏精度 0.302、F1 0.322,微召回 0.672 也就是找到了全部事件的 67%。平衡档召回 0.369、精度 0.361、F1 0.329,微召回 0.533。

说话人发声和背景声的召回差不多,宏召回 0.455 对 0.510,但精度差得明显,0.383 对 0.261。也就是说背景声更容易被找出来,但也更容易误报。

按类别看,事件 F1 最高的几个是音乐 0.80、叹气 0.78、喇叭 0.74、笑 0.63、嗅 0.63、鸟 0.62、呼吸 0.61。垫底的七个低于 0.1:哈欠、风扇、门、雨、咀嚼、蜂鸣、电视。48 个类里,敏感档能找到一半以上事件的只有 26 个。

速度方面,178 秒音频的检测,八线程 CPU 用 4.6 秒,是实时的 39 倍;T4 显卡用 0.47 秒,是实时的 380 倍。注意这还不包含音频解码和模型加载时间。

现在说几个我认为最值得留意的细节。

第一个是作者对评估局限性的坦白,坦率到几乎是自我拆台。他们列了四条:第一,检查点选型、阈值调优和帧级指标全都用了和事件级评估同一批留出片段的验证窗口,所以绝对数字是偏乐观的。第二,没跑任何标准基准,比如 DCASE 家居声音检测任务。第三,所有数字来自单次训练运行,没有重复实验,给不出置信区间。第四,标注者没标出来的声音会被算作误报,这会惩罚像呼吸这种经常被漏标的类别。

*DCASE:声学场景与事件检测与分类挑战赛,声音事件检测领域最主要的公开评测。

第二条尤其致命。没有标准基准意味着这个数字无法和其他系统横向对比。你只能说"在我们的评估协议下达到 0.322 的 F1",不能说"我们比某某方法好"。

第二个是那段非正式的自我测试。第一作者录了 6.8 秒英语,开头一声叹气,4 秒左右一声咳嗽。敏感档把叹气标在 0.00 到 1.04 秒,咳嗽标在 3.64 到 4.88 秒,但同时给出了一个和咳嗽重叠的清嗓标签,还有一个莫名其妙的哈欠。作者老老实实说这只是一个孤例,不属于评估。

我喜欢这种写法。它比任何漂亮的表格都更能让人理解系统实际用起来是什么感觉。

第三个是那个被仔细挑出来的定性例子。为了避免"手挑好例子"的嫌疑,作者定了一条机械规则:取存储顺序里第一个满足"至少三类事件、时长 6 到 12 秒"的留出 Vaani 片段。结果这个片段从头到尾有音乐,2.3 秒有个喷嚏,3.5 秒有个呼吸。模型检测到了音乐,但漏掉了喷嚏和呼吸(呼吸概率峰值大约 0.7,没过阈值),还全程误报了一个电视声。

作者给了一个合理的推测:语音底下的音乐用手机录出来,和电视广播录音听起来很像,而电视声的训练数据主要来自 DNC 的电视广播。但他们紧接着说,单个片段无法证实这一点。

第四个是作者在结论里点出的三个开放问题:需要在一个真正分离的目标领域测试集上做评估、弱类怎么救、以及训练数据带来的许可约束。

许可这件事值得单独说。三个训练来源限制了使用:NVS-38K 是 CC BY-NC 4.0 仅限非商业研究,NonverbalTTS 的标注是 CC BY-NC-SA 4.0,OpenSLR 99 是 CC BY-NC-ND 4.0。AudioSet-Strong 的镜像没声明许可,而 AudioSet 音频来自 YouTube。作者说,训练好的权重是不是训练数据的衍生作品,这件事在法律上还没有定论。

结果是,他们把权重以 CC BY-NC-SA 4.0 发布,只允许非商业使用。想商用的版本必须去掉那些受限来源重新训练。顺带一提,OpenSLR 99 只贡献了大约 138000 个事件片段里的 591 个。

*CC BY-NC-SA 4.0:知识共享署名-非商业性使用-相同方式共享许可协议。

最后一个细节,是关于可复现性的。作者承认,要精确复现是做不到的,因为发布模型是从一个 31 类的初步检查点热启动的,而那个检查点没有发布。训练笔记用的是 checkpoints 目录里的任何模型,现在里面装的是发布版模型,所以重新跑一遍只能走同样的流程,但不会得到完全一样的权重。另外固定池和验证集有固定随机种子,批次顺序、时间平移和 SpecAugment 没有设种子。

写在后面

读完这篇论文,我脑子里冒出来的第一个念头和技术无关。

作者做了一个数据质量检查,用已经训好的模型去扫描语音床和噪声池,把可能含有未标注声音的部分剔除掉。这个动作的价值在于承认一件事:你的训练数据里,标注是不完整的,而这种不完整会反过来教坏模型。绝大多数论文不会做这一步,因为做这一步意味着承认自己的数据不干净。

第二个念头是关于那个 0.322 的 F1。

在图像识别、语音识别这些领域,F1 到 0.9 才算拿得出手。0.322 这个数字放在其他任务上,基本会被认为是失败的。但这里的情况不一样。这些"事件"很多只有几十毫秒,很多本来就模糊到人也会漏,很多在标注时根本没被标出来。用一个漏标算误报的严格协议去评,0.322 未必说明模型差。

真正值得追问的是另一件事:在这类任务上,什么样的指标才算合理?如果标注本身就是不完备的,那么完美的评估协议应该长什么样?

第三个念头,是关于那个"敏感档"。

整篇论文里我最有共鸣的就是这个设计。一个靠漏报起家的系统,最后提供了两个工作点让用户自己选。这种把取舍权交还给用户的做法,在机器学习工程里其实并不常见。更常见的做法是调出一个"综合最优"的配置然后发布。

但世界上并不存在"综合最优"。做会议记录的人要的是不漏,做自动字幕的人要的是不误报,这是两种不同的需求,硬要合成一个数字,最后必然两边都不满意。

第四个念头,是关于那个喷嚏。

作者选的定性片段里有个 2.3 秒的喷嚏,模型没检测到。喷嚏在人类的听觉系统里几乎是全频段爆发,是不可能被忽略的声音。但在模型的概率曲线上,它就是个不够高的山峰。

这里的差距到底是什么?我猜部分是训练数据的稀疏,喷嚏在全部事件里只有 597 个,而呼吸有 71222 个。模型见到喷嚏的次数太少了,以至于它没见过足够的变体,就学不会泛化。数据里藏着的偏见,最终会以"某类声音总是漏检"的形式出现在产品体验里。

至于那个被反复讨论的注意力可视化,我倒有个不太一样的看法。作者展示六层 Transformer 的平均关注距离从 1.76 秒涨到 2.59 秒,看起来像是在证明"层越深看得越远"这个漂亮的规律。但作者自己在同一段里就说了,这只是一个片段,他们不声称被关注的位置对应特定事件。

Q&A

Q1:Speech Event Detector 是什么?

A1:Speech Event Detector 是一个 5.8M 参数的卷积加 Transformer 模型,每 40 毫秒输出 54 类(20 种说话人发声和 34 种背景声)的概率,再把概率变成带时间戳的事件,并合并进 Whisper 的转写文本里。

Q2:Speech Event Detector 的准确率是多少?

A2:在 48 个至少 10 个留出事件的类别上,敏感档宏召回 0.491、宏精度 0.302、F1 0.322,能找到全部 9367 个事件的 67%;平衡档召回 0.369、精度 0.361、F1 0.329。作者强调阈值调优用了与评估重叠的留出数据,绝对数字偏乐观。

Q3:Speech Event Detector 能商用吗?

A3:不能。因为它用到的 NVS-38K、NonverbalTTS 标注和 OpenSLR 99 分别受 CC BY-NC 4.0、CC BY-NC-SA 4.0、CC BY-NC-ND 4.0 限制,作者只能把权重以非商业许可发布,商用版本必须去掉受限来源重新训练。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI 开放 GPT-Live-1.1 API:开发者可接入实时双向语音对话

    IT之家 11 月 20 日消息,OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交

    来源 腾讯网
  2. 美国签证限制波及中国机器人企业,小鹏汽车参展CES或受影响

    【文/观察者网 张家栋 编辑/高莘】据《日经亚洲》11月19日报道,包括众擎机器人等在内的多家中国机器人企业,近期有研究人员和工程师遭到美国签证拒签。这一情况发生在2027年美国消费电子展(CES)开幕前夕,可能影响中国企业赴美参展的人员安排及现场展示。2026 CES众擎T800机器人展示众擎机器人官网报道称,受影响

    来源 腾讯网
  3. 小米汽车出海首站阿联酋:SU7、YU7开启预售,12月首批交付

    小米汽车迈出出海第一步:SU7、YU7与澎程SkyNomad三款车型近日通过阿联酋经销商Gargash Prime在当地正式开启预售,这也是小米汽车首次以官方授权渠道进入海外市场。此前阿联酋用户只能通过私下进口或灰色渠道购车,缺乏本地质保与售后网络,此次官方渠道的落地填补了这一空白。

    来源 TechWeb
  4. 京东方OLED新技术盘点:40年历程与8.6代线看点

    说个冷知识,我们现在用的OLED屏幕,其实已经有40年历史了。从最初实验室里的一项发光技术,到如今成为智能手机、折叠屏、平板电脑乃至汽车座舱的主流显示方案,OLED花了整整四十年,才走到今天。11月18日,OLED/OPV四十周年国际学术研讨会在广州华南理工大学举行,近200位国内外学者和产业代表齐聚一堂,雷科技(ID

    来源 腾讯网
  5. 火山引擎上线 SeedRealtime 1.0 API:端到端打通音视频通话

    实时多模态交互正在向更自然、更流畅的方向迈进。火山引擎近日正式上线了豆包实时音视频通话模型 SeedRealtime1.0的 API 服务,为开发者和相关应用提供了全新的实时音视频交互能力。 端到端统一建模:打破传统级联链路瓶颈 在过去的语音与多模态交互架构中,系统往往需要将语音识别(ASR)、视觉

    来源 AI 开发者社区
  6. 韩国LEET满分考生李振宇身亡,AI作弊风波后考场封杀智能眼镜

    近日,韩国 LEET 法学研究生入学考试满分考生李振宇(32 岁)在首尔一家汽车旅馆内被发现心脏骤停,经确认身亡,此前他深陷 AI 作弊质疑。事发前,这位一度被捧为“学神话”的满分得主曾公开表态:将在约定日期上午开启 YouTube 直播,现场作答韩国高考韩语试题,用实时答题自证清白。大量网友蹲守直

    来源 AI 开发者社区
  7. 火山引擎上线豆包实时音视频通话模型 SeedRealtime 1.0 API

    实时多模态交互正朝更自然、流畅演进。火山引擎正式上线豆包实时音视频通话模型 SeedRealtime1.0 的 API 服务,为开发者与应用提供全新实时音视频交互能力。该模型采用端到端统一建模,打破传统语音及多模态架构中 ASR、VLM、TTS 等多模块串联的级联链路瓶颈,减少级联处理带来的问题,提升实时交互体验。

    来源 AI 产业速递
  8. 韩国LEET满分考生李振宇身亡,AI作弊指控与考场智能眼镜禁令

    韩国LEET法学研究生入学考试满分考生李振宇(32岁)近日在首尔汽车旅馆内被发现心脏骤停身亡。他此前深陷AI作弊质疑,曾公开承诺开YouTube直播,现场作答韩国高考韩语试题以自证清白。约定时间大量网友蹲守直播间,但他未现身、手机关机,自证最终未能进行。此事引发舆论关注。

    来源 AI 产业速递
  9. 国内推出首个智能座舱 AI 分级评价体系,共分为 C1 到 C5 五级

    IT之家 11 月 20 日消息,据央视新闻今日报道,随着新能源汽车快速普及,日前,中国汽车技术研究中心推出了国内首个汽车智能座舱 AI 能力分级评价体系。 IT之家从报道获悉,这次中汽中心推出的 AI 能力分级评价体系,共分为 C1 到 C5 五级,把座舱 AI 主观体验转化为可量化的评价指标,覆盖八大能力和行为属性

    来源 AI 行业观察
  10. 兰博基尼Temerario Spyder发布:首搭可伸缩硬顶,零百2.7秒

    IT之家 11 月 20 日消息,@兰博基尼汽车中国 昨日(11 月 19 日)发布微博,宣布其全新敞篷超跑 Temerario Spyder 耀目登场,首次在 Spyder 车型上搭载可伸缩硬顶,可在 17 秒内折叠收起。 外观延续兰博基尼标志性的楔形车身、六边形灯光元素和大尺寸进气口,折叠后的车顶收纳于座舱与发动机

    来源 AI 行业观察
  11. 行业首次:小鹏 2026 科技日将首发「图灵 AI 共驾」,把智能辅助驾驶能力赋能人驾

    IT之家 11 月 20 日消息,小鹏汽车 2026 年小鹏科技日(AI DAY)已经官宣定档 11 月 25 日在广州举行,主题为“原点”(Origin)。 据小鹏介绍,本届科技日的核心发布之一,是“图灵 AI 共驾”的首次亮相。小鹏表示,这是行业首次将智能辅助驾驶能力延伸至人工驾驶场景。 其首个落地功能为“VLA

    来源 AI 行业观察
  12. Gemini 4 Neon发布:跑分逼近旗舰,单任务成本砍半

    作者|Wildcard编辑|靖宇谷歌,这次是真的回来了。11 月 18 日,Google DeepMind 点亮了Gemini 4 Neon的霓虹灯牌。这是 Gemini 4 系列在短短 7 周内甩出的第 4 款元素模型。如果看一眼官方放出的基准跑分长表和社区实测反馈,你会发现它精准卡在了一个极其舒服的「甜点」位上,既

    来源 腾讯网
  13. 阿里云单季收入突破600亿,吴泳铭:算力紧缺是长期现实,数据中心建设目标可能下调

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重投

    来源 腾讯网
  14. DeepSeek刚限完流,就去给开发者免单了

    AI应用风向标(公众号:ZhidxcomAI)作者|毕伟豪 编辑|漠影智东西11月19日报道,昨日,DeepSeek调整了API计费规则,自北京时间11月18日12时起,模型调用时触发的服务端搜索、网页抓取不再单独收费,仅按照模型Token用量计费。简单来说,开发者通过DeepSeek模型执行联网搜索任务,不再需要为搜

    来源 腾讯网
  15. 单日新增 200 辆,Cybercab 在特斯拉得州 Robotaxi 车队占比超一半

    IT之家 11 月 19 日消息,特斯拉单日向得克萨斯州 Robotaxi 无人驾驶出租车车队新增 200 辆 Cybercab,创下该车型单日新增数量纪录。这批专为自动驾驶打造的双座车型在得州的登记数量由此突破 750 辆。 根据得克萨斯州机动车辆管理局的自动驾驶汽车登记记录,这批车辆于当地时间 11 月 17 日下

    来源 AI 行业观察
  16. Rumble-2-Flash:0.5B参数语音模型,40种语言实时转录

    Reson8开源了Rumble-2-Flash,这是一个仅0.5B参数的语音识别模型,支持40多种语言。它在准确率上媲美大它几十倍的模型,且在真实电话录音测试中表现优异,推理速度极快,原生兼容Hugging Face Transformers和vLLM,无需自定义代码即可部署。

    来源 AI 应用前沿
  17. ChatGPT语音听写上线:边说话边出字,10分钟限制取消

    语音交互正变得更即时自然。OpenAI宣布为ChatGPT正式引入“实时听写”功能,用户对麦克风说话时可同步看到转写文字,提升语音输入效率。该功能将陆续面向全球ChatGPT用户开放,覆盖网页版、桌面客户端及iOS、Android应用。操作更直观:边说边出字,说完还能直接修改,并大幅减少以往语音输入的等待时间。

    来源 AI 产业速递
  18. Anthropic上市募资813亿美元:AI资本竞赛进入新阶段?

    作者|版君一家公司上市,募资813亿美元,首日市值一度突破2万亿美元。毫无疑问,Anthropic创造了美国资本市场新的IPO纪录。但这场IPO值得关注的,远不只是一个一批百万富翁,或者一家公司创造了多少融资纪录。它更像一次集中展示,AI产业积累多年的技术价值、私人财富、资本承诺和商业风险,正在同一天被摆上台面。这背后

    来源 腾讯网
  19. 没收过钱的DeepSeek,限个流就成罪人了?

    要说哪家大模型公司在科技圈和开发者中口碑最好,DeepSeek 认第二,估计没几家敢认第一。 哥们平时也不买量投流,纯靠模型攒口碑。 但我真没想到,就这么一家浓眉大眼的公司,最近....

    来源 腾讯网
  20. 阿里云Q2收入609.73亿增53%:算力紧缺成长期现实

    另外,吴泳铭判断:算力紧张是行业中长期要面对的现实,2027至2028年国内算力供给仍存在缺口,阿里会持续补齐自研算力供给,同时通过多元化采购保障供给。吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。根据目前的初步评估,阿里此前制定的到2032年全球数据中心规模超过20GW的目标

    来源 TechWeb
  21. 阿里云单季收入609.73亿增53%:吴泳铭称算力紧缺长期存在

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。 剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重

    来源 AI 行业观察
向下滚动自动加载更多