Liquid AI发布d1.2决策模型:校准误差0.8,低于Jev与GPT-6
智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,昨日,麻省理工学院(MIT)孵化的美国AI模型独角兽Liquid AI发布全模态决策模型d1.2和d1.2-ultra,两款模型均可处理文本、图像和音频。其中,d1.2-ultra在第三方评测机构Artificial Analysi
和前代d1.1、d1-ultra相比,d1.2系列多了五类任务的支持。
第一类是信息读取。两款模型能从输入里取出文本、数字或日期,比如把发票上的应付金额读出来,按原文字符返回;字段找不到,就回一句“未找到”。
▲读取发票中的应付金额(图源:
Liquid AI)
第二类是文本片段提取。文本里某一类信息的全部片段都能被它们找出来,比如把笔记里的姓名、电话号码、电子邮件地址逐项挑出,并注明各自在原文中的位置。
▲标出笔记中的姓名、电话和邮箱(图源:Liquid AI)
第三类是图片物体定位,单个目标能定位,同类目标的全部实例也能查找。扫描表单上的签名可以用矩形框标出,照片里的每一棵树也能分别给出坐标框和总数。
▲框出画面中的三名女性(图源:Liquid AI)
第四类是数值估算,结果由预测值和区间两部分组成。以估算照片人数为例,最可能的数量与范围会一并给出。
▲估算合影人数,并给出数量区间(图源:Liquid AI)
第五类是多选判断。所有适用选项都能被两款模型选出,且各自附带概率。一条同时涉及重复扣款和包裹未送达的客服消息,会被它们同时归入“计费”和“配送”两个主题。
▲识别客服消息涉及的多个主题(图源:Liquid AI)
音频分析和语音提问也在支持范围内。录音中的语言可以识别,背景里有没有警报声也能判断。
▲判断录音中是否有警报声(图源:Liquid AI)
Liquid AI披露的数据显示,在声音识别和覆盖43种语言的语言识别测试中,这两款模型回答选择题或是非题的正确率落在95%至97%之间。
工程师Aurélien Lac在X上分享了一个案例:d1.2-ultra用矩形框圈出道路上的车辆,消防车还标了类别和概率;警笛、交通声、喇叭声等声音也分别给出了概率,图片定位和音频判断的实际处理效果由此展示出来。
▲d1.2-ultra定位道路车辆,并为警笛、交通声等声音给出判断概率(图源:X)
概率校准测试结果同样由Liquid AI公布,这项测试检验的是模型对答案的把握与实际表现是否吻合。打个比方,一批答案如果都被给出80%的置信度,理想状况下每100道题里模型应该答对80道。
置信度若能准确反映答题表现,开发者就多了安排人工审核的依据:把握不大的回答交给人复核,把握大的交给系统自动处理。
预测概率和实际正确率之间的差距,Liquid AI用校准误差来衡量,数值越小说明两者越接近。测试覆盖13项基准,由五款模型共同作答22505道问题。
这组测试里,d1.2-ultra和d1.2的校准误差分别是0.8和1.2,其余三款参评模型都高于它们。Jev 1.14、Perplexity Decider v1.3和GPT-6 Luna Decisions API的校准误差依次为2.7、3.7和7.2。
▲五款模型的概率校准表现对比(图源:Liquid AI)
这次更新之前,Liquid AI的产品已经覆盖多种模态和任务,d系列决策模型只是其中一支。该公司还推出了
10月28日,该公司发布并开源新一代模型
二、四位MIT科学家联合创办,曾获AMD领投16.8亿元融资
Liquid AI在2023年成立,源自MIT计算机科学与人工智能实验室(
四位联合创始人都有MIT研究背景,分别是CEO拉明·哈萨尼(Ramin Hasani)、CTO马蒂亚斯·莱希纳(Mathias Lechner)、首席科学官亚历山大·阿米尼(Alexander Amini)以及丹妮拉·鲁斯(Daniela Rus)。
哈萨尼长期研究
莱希纳2022年在奥地利科学技术研究所(ISTA)拿到博士学位,参与
阿米尼的计算机科学本科、硕士、博士学业都在MIT完成,他还是MIT《深度学习导论》课程的主要组织者和讲师。
鲁斯的研究方向长期集中在机器人、移动计算和数据科学,拥有康奈尔大学计算机科学博士学位,同时在MIT
▲Liquid AI四位联合创始人,左起为莱希纳、阿米尼、鲁斯和哈萨尼(图源:彭博社)
融资上,Liquid AI在2024年12月完成了2.5亿美元(约合人民币16.8亿元)A轮融资,由AMD领投。这笔钱将用于扩充算力基础设施、加快模型研发,并推进端侧及企业本地部署。
结语:价格低、准确率高、概率可校准,决策模型盯上企业日常真实需求
这次更新,Liquid AI把目光放在企业处理日常业务的实际需求上。信息读取、文本片段提取、图片物体定位这些能力,能用来读取发票金额、查找个人信息、定位表单签名,帮企业自动处理文档、图片等材料。
但企业用不用,还是要算调用费用加人工纠错的总账。d1.2系列主打低价、任务准确率和概率校准,对应的是少花钱、少返工、安排好人工审核这三件事。这些优势若能在实际业务里兑现,决策模型就有机会接住企业眼下交给通用大模型的那部分任务。