卫星云层遮挡难去除，KAIST提出GeoCR通才模型

卫星一天绕地球好几圈，拍下的地表照片数不清，可画面里常常糊着一大片白花花的东西，把视线挡得严严实实。

那东西就是云。

对做农业监测、灾害预警、城市规划的人来讲，云遮住的可不光是风景，是关键信息。某块农田旱没旱、某片林子着没着火、某个城区的违建有没有扩出去，答案全压在云层底下。去云因此成了遥感图像处理里绕不开的一块硬骨头。

现实却有点出人意料：去云这件事，至今没有一把"万能钥匙"。翻一翻学术论文就能看到，几乎每篇去云方法论文里的模型，都是冲着某一个特定数据集训练出来的。说白了，这个模型只认得Sentinel-2卫星拍的照片，换成Landsat-8就歇菜；那个模型只会处理单张云图，给它一组多时相的时间序列数据就懵了；还有的模型习惯了用SAR雷达数据做辅助，突然没了SAR信号就抓瞎。

这好比请了十个厨师，一人只会做一道菜，而且这道菜非得用指定品牌的锅、指定产地的食材才做得出来。换一口锅，菜就做不成了。餐厅要想上全套菜单，就得雇十个厨师，各守各的一亩三分地。

韩国科学技术院（KAIST）的这篇论文，盯的就是这个问题。他们提出的模型叫GeoCR，目标很直接：造一个真正的"通才"去云模型，各种卫星数据、各种波段配置都能吃下，有没有SAR都行，单张还是多张时序照片都行。

难在什么地方

要弄明白GeoCR的难度，先得看清"异构数据"这个概念有多乱。

异构观测，说的是来源不同、格式不同、信息维度也不同的观测数据。放到这篇论文的语境里，具体表现是：有的卫星数据只有

单是论文列出的十个训练数据集，来源就横跨Sentinel-2卫星、Landsat-8卫星、Jilin-1高分辨率商业卫星，甚至还有谷歌地球的图像。这些数据集之间的差别，远不止"长得不一样"这么简单——波段数量、空间分辨率、辐射定标方式、云层覆盖的时间跨度，没有一样是相同的。

以前每拿到一个新数据集，就得单独训一个模型。毛病很清楚：一是模型各守各的一摊，换个场景就用不上；二是训练开销大，十个数据集就要维护十套模型；三是遇到训练时没搭过的组合，比如某地同时有RGB和SAR、而训练数据里压根没有这种搭配，模型就无从下手。

能不能让同一个模型既懂RGB又懂多光谱，既能吃单张也能吃多张时序输入，有SAR、没SAR都能应付？

GeoCR的回答是：能。而且这是第一次有人系统性地做到这件事。

一个模型怎么读懂十种不同的数据

GeoCR的核心思路分两步走，论文里叫两阶段预训练。

第一步要解决"翻译"问题。不同卫星拍出来的照片，哪怕都是地表影像，数据结构也完全不一样，就像十个人说着十种方言。GeoCR的办法是，先拿一个已经训练好的、专门处理RGB图像的自编码器当底座。

自编码器是一种神经网络结构，由编码器和解码器组成。编码器把图像压缩成更紧凑的"潜在表示"，解码器再把这个潜在表示还原成图像，压缩再还原的过程，能学到图像里最核心的空间结构信息。

这个预训练底座来自FLUX.2，一个成熟的图像生成模型。研究者的想法是：RGB三通道也好，十波段的多光谱数据也好，SAR雷达数据也好，本质上描述的都是同一片地表的空间结构，边界、纹理、地物轮廓这些东西是共通的。真正不一样的，只是每种数据的"入口"和"出口"格式。

于是他们设计了一套输入输出"stem"（词干）的轻量级接口。

Stem是一个只含单层卷积的轻量适配模块，负责把不同格式的原始数据转成统一的潜在空间表示，或者反过来，把统一表示转回原始数据格式。

具体做法是：预训练模型的编码器和解码器主干完全冻结，一点不动，只针对非RGB波段（比如十波段多光谱）和SAR数据，单独训练一组很小的输入输出stem。训练目标很简单，让这组stem把自己的数据格式和预训练好的RGB潜在空间对齐，用重建误差来约束。

这里有个细节值得停下来想一想：为什么要把预训练主干死死冻住，只训练这几层薄薄的接口？

换个路子呢，要是让模型从零开始学十种数据格式，代价是什么？训练成本会猛涨；更大的麻烦在于，它在适应新格式的同时，很可能把原先从海量RGB图像里学来的自然图像结构通用先验给覆盖掉。打个比方，一位精通中文的翻译官，你不教他认新词、建对照表，却要他重头学所有语言的语法，最后可能连母语的语感都乱了，哪门语言都说不顺。

保持主干冻结、只训练接口，相当于让这位翻译官留住原有的语言直觉，只教他认识新的词汇表。这样训出来的stem参数量极小，整个新增的接口只有5万多个参数，却能让非RGB数据的重建质量（用PSNR衡量的还原精度）从18.84分贝猛增到40.08分贝，提升超过21分贝。SAR数据的重建质量也从18.40分贝提升到29.14分贝，提升了近11分贝。

PSNR 就是峰值信噪比，用来衡量图像重建得怎么样：数值越高，重建图和原图就越接近，误差也越小。

这组数字能说明一点：就算只训练那几层很薄的接口，模型照样能把陌生的数据格式“翻译”成自己熟悉的语言，而且翻得相当准。

一个生成器，同时接住多种输入流

“翻译”这关过了，更关键的问题还在后面：单张云图、多张时序云图、带不带 SAR，这些输入配置差别很大，怎么让同一个生成模型都看懂，并且都输出干净的去云结果？

GeoCR 的做法是复用 flow matching（流匹配）这套生成技术框架，起点是一个预训练好的图像 flow transformer（图像流变换器），在此基础上微调，并非从零训练。

Flow matching 是一种生成模型训练范式。它的核心是学一个“速度场”，描述随机噪声怎样一步步变成目标图像；训练时只要求模型预测噪声到目标之间线性路径的速度，推理时顺着这条路径一步步生成结果。

结构上，GeoCR 把每一路观测数据都视为一条独立的“条件流”。输入 K 张云图，就有 K 条云图条件流；有 SAR，就再加一条 SAR 条件流；再加上要生成的目标本身，一共是 1+K+1 条并行的信息通道。这些通道靠多流模块的联合注意力机制互相交流，模型因此能同时参考多个信息源，判断该怎么去云。

这个思路其实很像人处理信息的本能。假设你是侦探，要还原一个被浓雾遮住的犯罪现场：只有一张照片，你只能猜；手里有三张不同时间点拍的照片，再加一份雷达测绘图，你会不自觉地把几份证据摆在一起比对——哪张照片的哪个角落露了线索，雷达数据在哪个区域撑住了结构，这些信息会被你合起来看，而不是各看各的。换一种设计，硬把所有信息压成一条输入流，模型可能在融合过程中丢掉某些观测独有的细节，好比侦探把三张照片叠印成一张，关键线索反而糊了。

训练时还有个小设计挺巧，叫条件随机丢弃。所有输入条件都有 10% 的概率被替换成一个“空”标记，SAR 单独以 30% 的概率被丢弃，非 RGB 波段以 5% 的概率被丢弃。目的是让模型别太依赖某一种固定输入组合，学会在信息不全时也能给出合理的去云结果——这其实是在模拟真实世界里“数据凑不齐”的常态。

从十个数据集到一个共享先验

GeoCR 的训练语料规模不小：整合了十个去云数据集的训练集，合计 88万3331 张无云目标图像。数据横跨 Sentinel-2、Landsat-8 和高分辨率商业卫星，格式从 13 波段的多光谱数据到普通 8 位 RGB 图像都有，有的带三张时序云图，有的带 SAR，配置五花八门。

拿这些异构数据混在一起训练出来的东西，论文里叫“共享去云先验”。

所谓共享先验，是指模型从大规模、多样化数据里学到的一种通用知识或模式。它不绑在某个具体数据集的细节上，而能迁移到新的、甚至没见过的输入配置上。

这个共享先验练成之后，有两种用法。一种是直接推理，不做任何针对性微调，论文里简称“w/o FT”（without fine-tuning）；另一种是用 LoRA 做轻量化适配。

LoRA 全称 Low-Rank Adaptation，即低秩适应，是一种参数高效微调技术。它不动模型的全部参数，只在原模型上加一组小规模的低秩矩阵来训练，微调成本因此大幅下降。

论文里 LoRA 只调整了 80 个变换器线性层里的 2310 万个参数，占整体参数的 0.60%，一块 GPU 跑 1 万步就能完成。跟从零训练一个专属模型相比，这个成本低的不止一个量级。

实验结果到底怎么样

设计思路说了这么多，最后还得看数据。

论文在五个主要基准数据集上做了对比：SEN12MS-CR、Sen2_MTC_New、CUHK-CR2、WHUS2-CRv 和 T-CLOUD。对比的基线方法里，既有通用图像修复模型（比如 pix2pix、BBDM、HI-Diff），也有专门的去云方法（比如 UnCRtainTS、EMRDM、GACR）。

衡量指标主要看两个：FID 和 DISTS。

FID 全称 Fréchet Inception Distance，衡量的是生成图像分布与真实图像分布之间的差异。数值越低，说明生成图像在整体视觉分布上越接近真实图像。

DISTS 则是衡量图像结构和纹理相似度的感知质量指标。跟传统的像素级误差指标比，它更贴近人眼对图像质量的主观感受。

结果显示，在全波段的 SEN12MS-CR 数据集上，GeoCR 不做任何微调直接上场，FID 相比最强的对比基线降低了超过 60%。这个成绩是在没有针对该数据集专门训练的情况下拿到的——相当于一个从没去某家餐厅学徒的厨师，第一次上灶就做出了比常驻主厨更好吃的菜。

在 Sen2_MTC_New 全波段设置下，GeoCR（w/o FT）的 FID 是 52.9，最强基线 GACR 是 87.4，差距同样明显。RGB 设置下的 CUHK-CR2 数据集上，GeoCR（w/o FT）拿到 93.6 的 FID，在十种对比方法里最低，第二名 EMRDM 是 104.4。

在这三个数据集上，GeoCR的FID和DISTS都排在第一。论文的说法是，五个主要基准里它拿下了其中三个的最优表现。剩下两个数据集——WHUS2-CRv和T-CLOUD——上，专门针对单一数据集训练的EMRDM等模型仍然保有优势。这一点论文没有藏着，直接写了出来。

论文还按输入云层覆盖比例做了分档分析，分成几乎无云、低覆盖、中覆盖、高覆盖四档。每一档上，GeoCR的DISTS和LPIPS得分都压过对比的基线方法。有个现象挺有意思：在"几乎无云"的场景下，GeoCR还能把图像质量再往上提一点；反观所有对比基线，这一档的DISTS得分全都变差了。按论文的意思，这些专用模型面对"几乎没什么任务要做"的输入时不够稳健，处理起来反倒画蛇添足。

条件信息越多，效果越好吗

多时相输入和SAR引导究竟顶不顶用，论文用一组消融实验做了直接验证。

在Sen2_MTC_New数据集上，同一个GeoCR模型分别接收1张、2张、3张云图作为输入，PSNR从16.390分贝升到20.522分贝，SSIM从0.4595升到0.6568。

SSIM指结构相似性指数，衡量两张图像在亮度、对比度、结构上的相似程度，取值0到1，越接近1说明两张图越像。

换到SEN12MS-CR数据集，还是同一个模型，比较有和没有SAR数据辅助两种情况：PSNR从28.596分贝提高到29.442分贝，SSIM从0.8572提高到0.8703。

道理很朴素：喂给模型的信息越足，恢复出来的结果就越准。好比让人根据几张模糊照片拼出一个人的长相，给一张和给三张不同角度的，后者显然拼得更准。真正厉害的地方在于，同一个模型checkpoint不用重新训练，只改变输入条件的数量，它就能自动把新增信息用起来。这说明GeoCR学到的是一种"灵活吸收信息"的本事，而非死记某种固定的输入格式。

模型也有搞不定的时候

GeoCR的局限，论文没有回避，这点挺难得。

如果可用的光学观测全被厚云盖死，模型生成的细节看着可能挺合理，但跟真实地表未必对得上。SAR数据能提供结构线索，可SAR信号本身决定不了光学图像该长什么样——地表颜色、植被细节这些，SAR看不出来。好比只靠声音猜一个人的长相，声音能听出大概年龄和情绪，衣服什么颜色就没办法了。

还有个"时间差"的问题。不同观测之间地表本身要是变了，比如拍摄间隔里这块地被重新耕种、或者盖了新建筑，模型可能更倾向于保留输入观测里看到的状态，而不是准确还原目标时刻真实发生的变化。这触及一个更深的问题：去云本质上是在"推测"被遮挡区域的内容，推测终归有极限，不是所有信息都能从间接证据里完全还原。

论文也承认，GeoCR目前学到的共享先验建立在十个训练数据集之上，碰上完全没见过的新传感器、新地理区域，泛化能力还得进一步验证。它不是一个"一次性解决所有问题"的终极方案，而是迈出的一步——证明"一个模型吃下多种异构遥感数据"在技术上可行。

写在后面

读完论文，让我最意外的不是去云效果本身，而是"冻结主干、只训练接口"这个设计。

这个思路背后是对预训练知识的一种敬畏。不少做多模态融合的工作，第一反应是把所有东西揉在一起从头训练，觉得这样才能学到最贴合任务的表示。GeoCR反过来想：一个已经在海量自然图像上学过的模型，对"什么是边界""什么是纹理""什么是空间结构"的理解，可能比从零开始、拿有限的遥感数据训出来的更扎实。与其推翻重来，不如想办法把新数据"翻译"成它已经懂的语言。

放到更大的尺度看，这和大语言模型做领域适配的逻辑是相通的——不从头训一个专用模型，保留一个强大的通用基座，只在边缘做轻量化适配。遥感图像处理这么相对小众的领域也在走这条路，说明"复用预训练知识"或许正在变成整个AI领域的默认选项，而不只是大模型圈子的专利。

还有个细节值得单独说：论文提到，在"几乎无云"的场景下，几乎所有专用去云模型的表现反而变差，只有GeoCR仍能改善图像质量。这暴露了一个容易被忽略的问题——很多模型训练时默认输入一定存在云层遮挡，一遇到不需要怎么处理的"简单样本"，反而因为过度拟合了"去云"这个任务而画蛇添足。一个真正稳健的模型，不光要在难样本上表现好，更要在"什么都不用做"的场景下知道适可而止。

我们对不少 AI 系统的期待，是不是也能这么看？真正聪明的系统懂得判断何时该出手、何时该收手，而不是不管什么情况都一味输出复杂操作。

Q&A

Q1：GeoCR是什么？

A：GeoCR是KAIST团队提出的通才去云模型。同一套模型就能处理RGB和多光谱卫星图像、单张和多张时序云图、有无SAR雷达数据等多种异构输入配置，不用针对每个数据集单独训练。

Q2：GeoCR不做微调直接用效果怎么样？

A：在SEN12MS-CR全波段数据集上，GeoCR不做任何微调直接推理，FID指标比最强对比基线降低超过60%；在Sen2_MTC_New和CUHK-CR2数据集上，也拿到了最佳的FID和DISTS成绩。

Q3：GeoCR有什么局限性？

A：所有光学观测都被厚云完全遮挡时，模型生成的细节可能不完全准确；地表在不同拍摄时间发生变化时，模型可能难以还原真实状态；模型目前的泛化能力主要在训练用过的十个数据集范围内得到验证。