正是对图像的计算处理，揭示了放置在各种不同光学显微镜下的样品的最精细的细节。尽管这种处理技术已经取得了长足的进步，但仍有提高的空间，例如图像对比度和分辨率。基于独特的深度学习架构，由Helmholtz-Zentrum Dresden-Rossendorf （HZDR）的高级系统理解中心（CASUS）和Max delbr
ck分子医学中心的研究人员开发的一种新的计算模型比传统模型更快，同时匹配甚至超过其图像质量。该模型被称为多级残差- bcr网络（m-rBCR），是专门为显微镜图像开发的。在两年一次的欧洲计算机视觉会议（ECCV）上首次提出，这是计算机视觉和机器学习领域的首要活动，相应的同行评审会议论文现在可以获得。
这个新模型给一种叫做反卷积的图像处理技术带来了新的变化。这种计算密集型的方法提高了在光学显微镜（如广角、共聚焦或透射显微镜）中捕获的数字图像的对比度和分辨率。反卷积的目的是减少模糊，这是一种由显微系统引入的图像退化。两种主要策略是显式反卷积和基于深度学习的反卷积。
显式反卷积方法基于点扩展函数（PSF）的概念。一个PSF基本上描述了来自样品的无限小的点光源如何被光学系统加宽并传播成三维衍射图案。这意味着：在记录的（二维）图像中，总是有一些来自失焦结构的光线产生模糊。通过了解显微系统的PSF，你可以计算出模糊的程度，最终得到的图像比未处理的记录图像更接近真实。
CASUS青年研究小组组长、ECCV论文通讯作者Artur Yakimovich博士说：“基于PSF的反卷积技术的大问题是，给定微观系统的PSF通常是不可用的或不精确的。”“几十年来，人们一直在研究所谓的盲反卷积，即从图像或图像集估计PSF。然而，盲反褶积仍然是一个非常具有挑战性的问题，取得的进展是有限的。”
正如Yakimovich团队过去所展示的那样，在显微镜中使用“逆问题解决”工具箱效果很好。逆问题处理的是恢复导致某些观测结果的因果因素。通常，你需要大量的数据和深度学习算法来成功地解决这类问题。与显式反卷积方法一样，结果是更高分辨率或更好质量的图像。对于在ECCV上提出的方法，科学家们使用了一种被称为多级残余bcr网络（m-rBCR）的物理信息神经网络。
不同的深度学习部署
一般来说，图像处理有两种基本变体。它既可以从图像的经典空间表示开始，也可以从图像的频率表示开始（需要从空间表示进行转换）。在后一种方法中，每个图像都被表示为波的集合。两种表述都是有价值的。有些处理操作用一种形式更容易完成，有些用另一种形式更容易完成。绝大多数深度学习架构都是在空间域上运行的。它很适合照相。然而，显微镜图像是不同的。它们大多是单色的。在像荧光显微镜这样的技术中，它们处理的是黑色背景上的特定光源。因此，m-rBCR使用频率表示作为起点。
“在这种情况下使用频域可以帮助创建光学上有意义的数据表示——与其他现代深度学习架构相比，这一概念允许m-rBCR以惊人的少参数解决反卷积任务，”ECCV的第一作者和演讲者Rui Li解释道。Li建议推进一个名为BCR-Net的模型的神经网络架构，该模型本身的灵感来自于20世纪90年代由Gregory Beylkin， Ronald Coifman和Vladimir Rokhlin（解释BCR-transform的名称）引入的基于频率表示的信号压缩方案。
该团队已经在四个不同的数据集上验证了m-rBCR模型，两个模拟显微镜图像数据集和两个真实显微镜数据集。与最新的基于深度学习的模型相比，它以更少的训练参数和更短的运行时间展示了高性能，当然，它也优于显式反卷积方法。
为显微镜图像量身定制的模型
“这种新架构利用了一种被忽视的方式来学习经典卷积神经网络方法之外的表征，”柏林max - delbr
ck- centrum f
r Molekulare Medizin“现场结构生物学”小组的负责人Misha Kudryashev教授总结道。“我们的模型显著减少了潜在的冗余参数。正如结果所示，这并不伴随着性能的下降。该模型非常适合显微镜图像，并且具有轻量级架构，挑战了需要更多计算能力的更大模型的趋势。”
Yakimovich小组最近发表了一种基于生成式人工智能的图像质量提升模型。这个条件变分扩散模型产生了最先进的结果，也超过了这里提出的m-rBCR模型。“然而，你需要训练数据和计算资源，包括足够的图形处理单元，这是现在非常抢手的，”亚基莫维奇回忆说。“轻型m-rBCR模型没有这些限制，仍然提供了非常好的结果。因此，我有信心我们将在成像社区获得良好的牵引力。为了促进这一点，我们已经开始改善用户友好性。”
“感染和疾病的机器学习”小组旨在了解人体被病原体感染后活跃的分子相互作用的复杂网络。利用机器学习的新可能性是关键。感兴趣的领域包括图像分辨率改进，3D图像重建，自动疾病诊断和图像重建质量评估。