AI工具怎么选?新疆天文台11个大模型里挑了轻量款
现在,AI 已经成了很多人的工作搭子。随着工具越来越多,一个选择的难题慢慢浮现:那么多 AI 工具,我到底应该怎么选?中国科学院新疆天文台计算机室的科研团队就在实际工作中遇到了这个难题,11 个大模型工具怎么选?最后,他们选了一个轻量化的工具,把它改造成了需要的样子。为什么这么选,改完之后效果怎么样?我们来看...
如今不少人干活都离不开AI搭子。工具一多,麻烦也跟着来:这么多AI工具,究竟该挑哪个用?
中国科学院新疆天文台计算机室的科研团队就撞上了这道选择题——11个大模型工具摆在面前,选哪个?他们最后挑中一款轻量化的,又按自己的需求把它改成了趁手的样子。
挑它的理由是什么,改造后又跑出了什么效果?下面来看。
以下内容来自中国科学院新疆天文台科研工作者的讲述。
这里是新疆天文台南山观测站。我们干的活,是帮射电望远镜“降噪”。
射电望远镜靠“听”来观测宇宙:用巨大的天线捕捉太空中的无线电波。脉冲星、星系、黑洞……这些电波就从它们那里来,带着天体的温度、磁场、运动速度等信息。信号极其微弱,抵达地球时的能量比手机信号还低好几个数量级。
灵敏的代价是容易受扰。望远镜周边环境一直很“吵”——手机基站、雷达、卫星,连打雷闪电都算,地球上人造无线电波无处不在。这些干扰的强度远超宇宙信号。望远镜收到的原始数据,是噪音混杂的一团。干扰不清掉,数据就用不了,科学家甚至可能因此得出错误结论。
传统
昔日主力,今日卡点
过去,天文数据降噪主要靠[1]这类老办法。原理不复杂,计算也省力,大型巡天项目里用了好多年,各大天文台的标准化流程里早就有它们。可新一代巡天设备陆续投用后,老办法碰上了三个新麻烦。其一,大气、宇宙射线等噪声搅作一团,彼此分不清,只能逐个参数慢慢调,按下葫芦浮起瓢。其二,[2]实在难定——要判断信号是真是假,得有个标准。标准卡得太严,又远又暗的真实天体信号容易被当噪声误删;放得太松,干扰又可能被当成真信号记下来。
图2 传统滤波阀值的设置不当,易造成真实信号被剔除或观测信号失真丨作者使用 AI 生成
其三,速度跟不上。新一代巡天设备产生的数据动辄以TB、PB计(1TB=1024GB,1PB=1024TB),老办法压根做不到接近实时。拿南山26米射电望远镜的数据来说,10GB的量,老办法要跑15-20天,效率着实低。
老办法已经摸到了天花板,得换个新工具。AI的出现,让我们隐约看到了点亮光。
AI 模型这么多,挑哪个才合适?
为什么最后选了一个“相对较弱”的
说起来,AI 进入天文数据处理领域并不算晚。上世纪 90 年代初,天文学家就尝试把(ANN)用于天文数据处理;2012 年,卷积神经网络(CNN)在图像识别大赛上表现抢眼,AI 深度学习[3]由此开始处理天文观测数据;2020 年以后,大模型越来越多,新的麻烦也跟着来了:究竟该选哪一个?有的模型精度高,可处理一组数据要花几个小时,还得配上专门的服务器;有的模型跑得快,普通服务器就能应付,精度却可能不够。南山观测站没有超级计算机,数据处理只能在本地服务器上完成。模型能不能在有限的计算资源下跑得动,成了它能否在这里落地的关键。于是,科研团队比较了
那为什么偏偏挑中它?
从实验结果看,MobileNetV2 起初的(指模型分类的射电干扰数据占全部数据的比例)和(即被正确分类的射电干扰数据占全部射电干扰数据的比例)并不突出,与大多数模型相比还有差距。不过它有一项别人比不了的优势——运算成本低,也足够轻巧,26 米射电望远镜配套的服务器就能满足运行需求。用少量计算资源,它就能拿到不错的准确率,还能把有效信息(指未被人为破坏掉的天体信号)保护得很好。对包括南山站在内的大多数天文台站来说,这正是最合适、也确实能落地的那一个。
表1 11种分类模型初始精确率与召回率对比表,其中Model指不同模型,Precision表示精确率,Recall表示召回率,FlScore表示调和平均数,Loss指训练过程中模型梯度学习的损失值丨新疆天文台
但 MobileNetV2 的初始精确率只有 88%,离“好用”还差一截。团队于是对它做了针对性改造。
改造从三条思路入手
改进主要围绕三个方向推进。其一,为模型引入“(。空间与通道两路信息由此融合,局部范围内更细的细节被提取出来,网络对特征的表达也随之增强。说白了,就是给 RFI 干扰信号的特征标出重点,让 AI 更容易抓住干扰信号的细微痕迹,减少误认和误判。其二,在模型“ 其三,增加
表2 模拟实验对比图丨新疆天文台
实际测试中,这套 用这套系统同样处理南山 26 米射电望远镜产出的 10GB 数据,仅需不到一天的功夫便可完成,大大提高了数据处理的效率。
图3 通过对混合RFI进行实验,实现了各类别 RFI 单一聚类效果,精确率达 94%丨新疆天文台
结语
按计划,这套AI系统会在2027年接到新疆天文台南山26米射电望远镜上。观测数据进来后,先由它把噪声清掉,后面的科研分析就能跑得更快。另外,各台站的数据处理需求不一样,它也能装到不同的数据终端上。
这次挑AI工具的过程也让团队有了一点体会:并非所有问题都得用最强的工具来解决。有时候,把工具选对,比选到最强的那一个更要紧。
参考文献
[1].Starck, J.-L., & Murtagh, F. 2006, Astronomical Image and Data Analysis, 2nd ed., Springer
[2].Offringa, A. R., de Bruyn, A. G., Biehl, M., et al. 2010, Monthly Notices of the Royal Astronomical Society, 405, 155,Post-correlation radio frequency interference classification methods[3].Fluke, C. J., & Jacobs, C. 2020, WIREs Data Mining and Knowledge Discovery, 10, e1349,Surveying the reach and maturity of machine learning and artificial intelligence in astronomy
策划制作