Goldfish

Goldfish 是一个做视频理解的研究项目，核心做法是把视频转成字幕流，再和抽出的画面帧一起送进模型，让语言和视觉信息互相补充。这样做的理由是：纯看帧的模型很难把握长时间跨度上的情节，而纯靠字幕又会丢掉画面里没有说出口的信息。

它的重点场景是视频问答和基于内容的检索——给一段视频和一个问题，模型需要从多个片段里找出相关线索再作答；也可以按自然语言描述去找视频里的某个片段或某一类内容。与只看单帧或短视频片段的方案相比，它更强调跨时间的推理，因此长视频、讲解类视频和有连贯剧情的素材更能体现差别。

使用方式偏工程化：需要在本地或服务器上准备环境、自己下载模型与权重、按仓库说明做推理，通常还要配合视频解码、抽帧和字幕生成等前置步骤。研究者和开发者可以把它当成一个可改造的视频理解底座，嵌进自己的检索或问答流程里；团队使用时一般需要有人负责环境配置和推理服务的维护。

当你要做的是「从一段长视频里找线索并回答一个问题」这类研究或原型任务时，Goldfish 值得试——它把字幕和画面拼在一起的做法，正是纯视觉模型容易漏掉情节关系的地方。当你要的是给视频加字幕、剪片子或做批量内容生产时，它并不合适：它不提供成品化的剪辑与字幕工作流，前置的抽帧和字幕生成都要自己搭。判断标准很直接——如果你有工程能力、能接受自己配环境和跑推理，它是个可改造的视频理解底座；如果你只是想给视频做点实用的处理，先看有没有更贴合的现成工具。