北京大学未来技术学院席鹏教授及其研究团队近期取得一项突破,他们开发出一种名为LargePNet的大视野通用型荧光成像复原网络。该技术解决了当前人工智能辅助荧光成像在处理大尺寸图像时面临的“管中窥豹”困境,使AI能够全面理解全局信息后再进行图像复原。
席鹏教授指出,传统显微成像技术在观察活细胞时存在一个两难:要获得清晰图像需要高强度光照,但这会损害细胞,限制了长时间观测的可能性。近年来,深度学习技术为解决这一问题提供了方案,能够从低光照、模糊的图像中计算出高分辨率画面,从而降低了光照强度,延长了观测时间。然而,以往的AI模型大多沿用处理自然图像的方法,将大于512×512像素的大图分割成小块(如64×64或128×128像素)进行训练。这种方式如同让AI通过“碎照片”学习摄影,每块图像所含信息量极其有限。
席鹏解释说,自然图像内容丰富,不同小块之间的差异明显,适合采用分割训练。但荧光成像不同,由于荧光染料特异性标记的细胞器在小视野下往往呈现重复的细线结构,区分“结构”与“噪声”的关键信息实际上蕴含在大尺度的全局关联之中。因此,使用“碎照片”训练出的AI在处理完整大图时,往往因缺乏全局认知而导致保真度不足和抗噪性差,因为它从未学习过“整只豹子”的形态。他进一步说明,在荧光图像中,生物结构在大视野范围内存在长程关联,例如一根微管蛋白纤维可能横跨整个图像。当AI模型只接触过碎片信息,就丧失了理解这种全局结构的能力。
该团队提出的解决方案是构建一种全新的通用型荧光成像复原网络LargePNet。其核心理念在于不再分割图像,而是直接使用大于512×512像素的大视野图像来训练AI,使模型在训练阶段就能完整地学习细胞结构的上下文关联和全局统计信息。然而,直接将大图像输入传统神经网络会遇到两个挑战:一是如何建立足够大的“感受野”让AI理解全局结构;二是如何控制大视野计算量,避免GPU内存溢出。为此,团队开发了LargePNet,一个能够融合全局“骨架”与局部“细节”的高效大视野通用型荧光成像复原网络,实现了既能全面观察又能清晰成像的目标。
该技术的应用效果显著。在涉及不同显微模态的降噪和去模糊等八项典型任务中,LargePNet相比当前最先进的复原网络,峰值信噪比提升了0.5至2分贝,大图推理效率提高了4至20倍。借助这项技术,研究团队成功实现了长达30小时、分辨率为200纳米的活细胞亚细胞器动态成像,稳定捕捉了细胞骨架的动态变化,并能清晰展现内质网、线粒体和微管三种细胞器在同一画面中的相互作用,就像在观看一场精彩的足球世界杯比赛一样,细节尽收眼底。
更重要的是,研究团队还提供了“适用范围说明书”。他们发现,当小图块与大视图的统计信息偏差越大时,LargePNet相对于传统小图训练网络的复原优势就越明显。这意味着研究人员可以根据自身数据的特点,判断何时更适合使用这套具备“大局观”的模型。目前,该团队已将全部Python源代码、训练数据和模型开源,供全球同行免费使用。
05 条精彩评论
战术专家
2024年7月26日 11:00
精彩赛事,不容错过!
赛事记者
2024年7月26日 11:30
精彩赛事,不容错过!
球迷代表
2024年7月26日 12:00
精彩赛事,不容错过!
资深球迷
2024年7月26日 12:30
精彩赛事,不容错过!



足球评论员
2024年7月26日 10:30
精彩赛事,不容错过!