搜索
首页科技周边人工智能超衍射极限1.5倍,成像条件低10倍,清华、中国科学院用AI方法提高显微镜分辨率

超衍射极限1.5倍,成像条件低10倍,清华、中国科学院用AI方法提高显微镜分辨率

图示:通过 ZS-DeconvNet 对快速光敏生物过程进行长期 SR 成像。(来源:论文)

编辑 | 萝卜皮

计算超分辨率方法,包括传统的分析算法和深度学习模型,极大地改进了光学显微镜。其中,有监督深度神经网络表现出了出色的性能,但由于活细胞的高动态性,需要大量的高质量训练数据,而获取这些数据非常费力且不切实际。

在最新的研究中,清华大学和中国科学院的研究人员开发了零样本反卷积网络(Zero-shot deconvolution networks,ZS-DeconvNet),可立即将显微镜图像的分辨率提高超过衍射极限1.5倍以上,同时荧光比普通超分辨率成像条件低10倍,以无监督的方式进行,无需地面实验或额外的数据采集。

研究人员还展示了 ZS-DeconvNet 在多种成像模式上的多功能适用性,包括全内反射荧光显微镜、三维宽视场显微镜、共焦显微镜、双光子显微镜、晶格光片显微镜和多模态结构照明显微镜;它能够够对从有丝分裂单细胞到小鼠和秀丽隐杆线虫的多细胞胚胎生物进行多色、长期、超分辨率 2D/3D 成像。

该研究以「Zero-shot learning enables instant denoising and super-resolution in optical fluorescence microscopy」为题,于 2024 年 5 月 16 日发布在《Nature Communications》。

超衍射极限1.5倍,成像条件低10倍,清华、中国科学院用AI方法提高显微镜分辨率

光学荧光显微镜对于生物研究至关重要,超分辨率技术的进步提高了成像细节,但伴随空间分辨率提升的是其它成像参数的折衷。计算超分辨率方法凭借其能在线提升图像质量、增强现有设备的能力且扩展应用范围,成为研究热点。

这些方法分为基于分析模型的去卷积等技术和基于深度学习的超分辨率(SR)网络两大类。前者受限于参数调优及对复杂成像环境适应性差的问题,后者能通过大数据学习复杂图像转换,却面临获取难度大、高度依赖训练数据质量的挑战。这限制了深度学习超分辨率技术在生物研究日常应用中的普及及。

在这里,清华大学和中国科学院的研究团队提出了一个零样本反卷积深度神经网络框架ZS-DeconvNet,它能够无监督地训练DLSR网络,仅使用一张低分辨率和低信噪比的平面图像或体积图像堆栈,从而实现零样本实现。

超衍射极限1.5倍,成像条件低10倍,清华、中国科学院用AI方法提高显微镜分辨率

图示:零样本反卷积网络。(来源:论文)

因此,与最先进的 DLSR 方法相比,ZS-DeconvNet 可以适应不同的生物成像环境,其中生物过程过于动态、对光过于敏感而无法获取真实的 SR 图像,或者图像获取过程受到未知和非理想因素的影响。

研究人员表示,即使在单个低信噪比输入图像上进行训练,ZS-DeconvNet 也可以将分辨率提高超过衍射极限 1.5 倍以上,并具有高保真度和可量化性,并且无需进行特定于图像的参数调整。

ZS-DeconvNet 适用于多种成像模式,从扫描显微镜到宽场检测显微镜,并在多种样本和显微镜设置中展示了其能力。

超衍射极限1.5倍,成像条件低10倍,清华、中国科学院用AI方法提高显微镜分辨率

图示:将 ZS-DeconvNet 推广到多种成像模式。(来源:论文)

研究人员证明了经过适当训练的 ZS-DeconvNet 可以在毫秒时间尺度上推断出高分辨率图像,实现对多个细胞器相互作用、迁移和有丝分裂的光敏感过程中的细胞骨架和细胞器动力学,以及发育中的线虫和小鼠胚胎的亚细胞结构和动力学的高通量长期 SR 2D/3D 成像。

超衍射极限1.5倍,成像条件低10倍,清华、中国科学院用AI方法提高显微镜分辨率

图示:多模态 SIM 数据中的零样本去噪和分辨率增强。(来源:论文)

此外,为了让生物学研究社区能够广泛使用 ZS-DeconvNet,该团队建立了一个 Fiji 插件工具箱和一个 ZS-DeconvNet 方法的教程主页,用户无须深度学习知识也能轻松使用。

尽管具有广泛适用性和稳健性,ZS-DeconvNet 用户需注意潜在的幻想生成及其局限,如低荧光信号误识别、应用于不同成像模式的图像时性能下降、PSF 匹配不当导致的问题,以及无监督学习下的分辨率提升不如监督学习明显。

未来,通过结合更先进的网络架构、拓展至其他光学超分辨技术、采用领域适应或泛化技术,以及处理空间变化的PSF,ZS-DeconvNet的功能和应用范围将进一步扩大。

论文链接:https://www.nature.com/articles/s41467-024-48575-9

以上是超衍射极限1.5倍,成像条件低10倍,清华、中国科学院用AI方法提高显微镜分辨率的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
人工智能(AI)、机器学习(ML)和深度学习(DL):有什么区别?人工智能(AI)、机器学习(ML)和深度学习(DL):有什么区别?Apr 12, 2023 pm 01:25 PM

人工智能Artificial Intelligence(AI)、机器学习Machine Learning(ML)和深度学习Deep Learning(DL)通常可以互换使用。但是,它们并不完全相同。人工智能是最广泛的概念,它赋予机器模仿人类行为的能力。机器学习是将人工智能应用到系统或机器中,帮助其自我学习和不断改进。最后,深度学习使用复杂的算法和深度神经网络来重复训练特定的模型或模式。让我们看看每个术语的演变和历程,以更好地理解人工智能、机器学习和深度学习实际指的是什么。人工智能自过去 70 多

深度学习GPU选购指南:哪款显卡配得上我的炼丹炉?深度学习GPU选购指南:哪款显卡配得上我的炼丹炉?Apr 12, 2023 pm 04:31 PM

众所周知,在处理深度学习和神经网络任务时,最好使用GPU而不是CPU来处理,因为在神经网络方面,即使是一个比较低端的GPU,性能也会胜过CPU。深度学习是一个对计算有着大量需求的领域,从一定程度上来说,GPU的选择将从根本上决定深度学习的体验。但问题来了,如何选购合适的GPU也是件头疼烧脑的事。怎么避免踩雷,如何做出性价比高的选择?曾经拿到过斯坦福、UCL、CMU、NYU、UW 博士 offer、目前在华盛顿大学读博的知名评测博主Tim Dettmers就针对深度学习领域需要怎样的GPU,结合自

字节跳动模型大规模部署实战字节跳动模型大规模部署实战Apr 12, 2023 pm 08:31 PM

一. 背景介绍在字节跳动,基于深度学习的应用遍地开花,工程师关注模型效果的同时也需要关注线上服务一致性和性能,早期这通常需要算法专家和工程专家分工合作并紧密配合来完成,这种模式存在比较高的 diff 排查验证等成本。随着 PyTorch/TensorFlow 框架的流行,深度学习模型训练和在线推理完成了统一,开发者仅需要关注具体算法逻辑,调用框架的 Python API 完成训练验证过程即可,之后模型可以很方便的序列化导出,并由统一的高性能 C++ 引擎完成推理工作。提升了开发者训练到部署的体验

基于深度学习的Deepfake检测综述基于深度学习的Deepfake检测综述Apr 12, 2023 pm 06:04 PM

深度学习 (DL) 已成为计算机科学中最具影响力的领域之一,直接影响着当今人类生活和社会。与历史上所有其他技术创新一样,深度学习也被用于一些违法的行为。Deepfakes 就是这样一种深度学习应用,在过去的几年里已经进行了数百项研究,发明和优化各种使用 AI 的 Deepfake 检测,本文主要就是讨论如何对 Deepfake 进行检测。为了应对Deepfake,已经开发出了深度学习方法以及机器学习(非深度学习)方法来检测 。深度学习模型需要考虑大量参数,因此需要大量数据来训练此类模型。这正是

地址标准化服务AI深度学习模型推理优化实践地址标准化服务AI深度学习模型推理优化实践Apr 11, 2023 pm 07:28 PM

导读深度学习已在面向自然语言处理等领域的实际业务场景中广泛落地,对它的推理性能优化成为了部署环节中重要的一环。推理性能的提升:一方面,可以充分发挥部署硬件的能力,降低用户响应时间,同时节省成本;另一方面,可以在保持响应时间不变的前提下,使用结构更为复杂的深度学习模型,进而提升业务精度指标。本文针对地址标准化服务中的深度学习模型开展了推理性能优化工作。通过高性能算子、量化、编译优化等优化手段,在精度指标不降低的前提下,AI模型的模型端到端推理速度最高可获得了4.11倍的提升。1. 模型推理性能优化

聊聊实时通信中的AI降噪技术聊聊实时通信中的AI降噪技术Apr 12, 2023 pm 01:07 PM

Part 01 概述 在实时音视频通信场景,麦克风采集用户语音的同时会采集大量环境噪声,传统降噪算法仅对平稳噪声(如电扇风声、白噪声、电路底噪等)有一定效果,对非平稳的瞬态噪声(如餐厅嘈杂噪声、地铁环境噪声、家庭厨房噪声等)降噪效果较差,严重影响用户的通话体验。针对泛家庭、办公等复杂场景中的上百种非平稳噪声问题,融合通信系统部生态赋能团队自主研发基于GRU模型的AI音频降噪技术,并通过算法和工程优化,将降噪模型尺寸从2.4MB压缩至82KB,运行内存降低约65%;计算复杂度从约186Mflop

深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝Apr 09, 2023 am 09:41 AM

今天的主角,是一对AI界相爱相杀的老冤家:Yann LeCun和Gary Marcus在正式讲述这一次的「新仇」之前,我们先来回顾一下,两位大神的「旧恨」。LeCun与Marcus之争Facebook首席人工智能科学家和纽约大学教授,2018年图灵奖(Turing Award)得主杨立昆(Yann LeCun)在NOEMA杂志发表文章,回应此前Gary Marcus对AI与深度学习的评论。此前,Marcus在杂志Nautilus中发文,称深度学习已经「无法前进」Marcus此人,属于是看热闹的不

英伟达首席科学家:深度学习硬件的过去、现在和未来英伟达首席科学家:深度学习硬件的过去、现在和未来Apr 12, 2023 pm 03:07 PM

过去十年是深度学习的“黄金十年”,它彻底改变了人类的工作和娱乐方式,并且广泛应用到医疗、教育、产品设计等各行各业,而这一切离不开计算硬件的进步,特别是GPU的革新。 深度学习技术的成功实现取决于三大要素:第一是算法。20世纪80年代甚至更早就提出了大多数深度学习算法如深度神经网络、卷积神经网络、反向传播算法和随机梯度下降等。 第二是数据集。训练神经网络的数据集必须足够大,才能使神经网络的性能优于其他技术。直至21世纪初,诸如Pascal和ImageNet等大数据集才得以现世。 第三是硬件。只有

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
1 个月前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

Dreamweaver Mac版

Dreamweaver Mac版

视觉化网页开发工具

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

SublimeText3 英文版

SublimeText3 英文版

推荐:为Win版本,支持代码提示!

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

功能强大的PHP集成开发环境