专访普林斯顿刘世隆丨人类是超强 Router,Agent 只是刚起步
当开放世界检测模型 Grounding DINO 在 Hugging Face 上的月下载量突破两百万次,成为全球开发者广泛使用的工具时,它的核心作者刘世隆,正站在计算机视觉与具身智能的交汇点上,思考着 AI 的下一步。这位即将入职哥伦比亚大学担任教职的青年学者,本科从工业工程跨界计算机,靠打比赛练就了扎实的工程底子。
要点速览
研究路径与转折点
代表作三部曲
告别 self-evolving 泛化执念
人类是超强 Router
World Model 的细分闭合属性:
AI 赋能科学发现
底层信念驱动研究问题
智源专访栏目意在展现行业顶尖技术研究者和创业者的研究经历和故事,记录技术世界的嬗变,激发当代AI从业者的创新思维,启迪认知、关注突破性进展,为行业注入灵感光芒。本次专访为总第43
01
比赛中积累工程能力,押注 Agent Self-Evolution
刘世隆:
保研
刘世隆:
02
三次跨越:DAB-DETR、DINO、 Grounding DINO
刘世隆:博二
博一暑假到博三
DINO 做完之后,我开始做多模态检测,
这些作品大概代表了我的三次跨越:1.我开始知道怎么做科研;2.我们做出来一系列工作去引领方向;3.我们真正能做出来一些实用的产品。
图注:刘世隆GitHub主页
刘世隆:
刘世隆:
在一些 Agent 自身都不会关注到的、需要人去关注的细小地方,还有非常多能够做研究的空间。
03
告别泛化执念,重构自进化智能体评估规则
刘世隆:这两个词在很多场景下是可交换的,取决于大家怎么定义。
图注:刘世隆《A Taxonomy of Self-evolving Agents》博客部分内容
刘世隆:
怎么设定好的 evaluation 是和问题强相关的,有不同问题,就需要不同的设计方法
Q10:DeepJEPA 发现,实际上多算几步并不一定带来更好的行动。真实世界是不断变化的,模型应该怎么判断什么时候继续推演,什么时候采取行动?
刘世隆:
【追问】现在出现了 Jev 这样的决策模型,您认为它是实现 Router 的好方式吗?
刘世隆:Jev 是一种 efficient 版本的模型,
04
跨越虚实鸿沟,物理 AI ,如何泛化至真实世界
刘世隆:
刘世隆:
这样的话,它最大应用场景就是在一些非常 niche 的领域,下围棋也好、拧魔方也好,它可以做到比 LM 更好的效果。因为它可以完全模拟这个状态,有更好的搜索能力,搜索的效率更高。
刘世隆:
图注:CubeBench论文部分内容展示(https://cubebench.c7w.tech/)
刘世隆:大家都在说机器人的 ChatGPT 时刻,这肯定值得期待,而且这个时间也不会特别远了。
05
Agents 赋能科学发现:高容错红利与“老师傅的手感”
刘世隆:
06
坚定底层信念,把智能真正带入物理世界
刘世隆:我现在找问题就是对一个东西有一个底层的信念。
我觉得通过表面去推整个实验的深度流程,是一件很有意思的事情。Paper 是一个 Final Output,但是你要想办法从中推出 CoT
Q17:在整个研究链条中,哪些工作可以交给 Agent 做?如何判断它是否值得相信?
刘世隆:我会让它告诉我它做每个决策的原因,看它的思维链逻辑是不是靠谱的
Q18:即将入职 Columbia 担任教职,对未来有怎样的期许?
刘世隆: