以自監督方式去除螢光影像中的噪聲，清華團隊開發空間冗餘去噪Transformer方法

螢光成像的高信噪比對於生物現象的準確視覺化至關重要，然而，雜訊問題仍然是成像靈敏度面臨的主要挑戰之一。

清華大學的研究團隊提供了空間冗餘去噪 Transformer（SRDTrans），以自監督的方式去除螢光影像中的雜訊。

團隊提出了一種新的採樣策略，基於空間冗餘來提取相鄰的正交訓練對，並消除對高成像速度的依賴。此外，他們還開發了一種輕量級時空Transformer架構，能夠以較低的運算成本捕捉遙遠的依賴關係和高解析度特徵。

SRDTrans 能夠保留高頻訊息，不會造成結構過度平滑或螢光痕跡扭曲。此外，SRDTrans 不依賴特定的成像過程和樣本假設，因此適用於各種成像模式和生物應用的擴展。

研究以「Spatial redundancy transformer for self-supervised fluorescence image denoising」為題，於 2023 年 12 月 11 日發佈在《Nature Computational Science》。

活體成像技術的快速發展使研究人員能夠在微米乃至奈米尺度上觀察生物結構和活動。螢光顯微鏡作為一種流行的成像方法，以其高時空分辨率和分子特異性，有助於揭示新的生理和病理機制。螢光顯微鏡的主要目標是獲得乾淨、清晰的圖像，其中包含足夠的樣品信息，以確保下游分析的準確性並支持可信的結論。

然而，由於多種生物物理和生化因素的影響，螢光成像在實際操作中受到各種限制。例如，螢光團的亮度、光毒性和光漂白現象，都會對成像效果產生負面影響。在光子受限的情況下，固有的光子散粒雜訊會顯著降低影像的訊號雜訊比（SNR），特別是在低照度和高速觀察的情況下。這些因素使得螢光成像的品質和可靠性受到挑戰，需要在實踐中加以克服和優化。

已經有多種方法被提出來用於去除螢光影像中的雜訊。傳統的基於數值濾波和數學最佳化的去雜訊演算法效能不盡如人意且適用性有限。近年來，深度學習在影像去噪領域展現了顯著的成就。

透過使用真實值（GT）資料集進行迭代訓練，深度神經網路能夠學習雜訊影像與乾淨對應影像之間的映射關係。這種監督方式的有效性主要取決於配對的GT影像。

在觀察生物體的活動時，獲得逐像素配準的乾淨影像是一個巨大的挑戰，因為樣本經常經歷快速的動態變化。為了緩解這一矛盾，人們提出了一些自監督方法，從而在螢光成像中實現更適用和實用的去雜訊。

為了獲得更好的去噪性能，同時提取全局空間資訊和長程時間相關性的能力至關重要，而由於卷積核的局部性，這是卷積神經網路（CNN）所缺乏的。此外，固有的頻譜偏差使得 CNN 傾向於優先擬合低頻特徵，而忽略高頻特徵，不可避免地產生過度平滑的去噪結果。

清華大學的研究團隊提出了空間冗餘去噪 Transformer（the spatial redundancy denoising transformer，SRDTrans）來解決這些困境。

圖：SRDTrans原理及效能評估。 （資料來源：論文）

一方面，研究人員提出了一種空間冗餘採樣策略，從兩個正交方向的原始延遲資料中提取三維（3D）訓練對。

該方案不依賴兩個相鄰幀之間的相似性，因此SRDTrans 適用於非常快速的活動和極低的成像速度，這與該團隊先前提出的利用時間冗餘的DeepCAD 是互補的。

由於 SRDTrans 不依賴任何有關對比機制、雜訊模型、樣本動態和成像速度的假設。因此，它可以輕鬆擴展到其他生物樣品和成像方式，例如膜電壓成像、單蛋白檢測、光片顯微鏡、共焦顯微鏡、光場顯微鏡和超解析度顯微鏡。

另一方面，研究人員設計了一個輕量級時空變換網路來充分利用遠端相關性。最佳化的特徵交互機制使該模型能夠用少量的參數獲得高解析度的特徵。與經典 CNN 相比，所提出的 SRDTrans 具有更強的全局感知和高頻維護能力，能夠揭示以前難以辨別的細微時空模式。

該團隊在兩個代表性應用中展示了 SRDTrans 的卓越降噪性能。第一個是單分子定位顯微鏡（SMLM），相鄰影格是螢光團的隨機子集。

圖：將 SRDTrans 套用至實驗 SMLM 資料。 （資料來源：論文）

另一種是大型 3D 神經元群的雙光子鈣成像，體積速度低至 0.3Hz。廣泛的定性和定量結果表明，SRDTrans 可以作為螢光成像的基本去噪工具，從而觀察各種細胞和亞細胞現象。

圖：大神經體積的高靈敏度鈣成像。 （資料來源：論文）

SRDTrans 也有一些局限性，主要在於相鄰像素應具有近似結構的基本假設。如果空間取樣率太低而無法提供足夠的冗餘，SRDTrans 將會失敗。另一個潛在的風險是泛化能力，SRDTrans 的輕量級網路架構更適合特定任務。

相信針對特定資料訓練特定模型是使用深度學習進行螢光影像去雜訊的最可靠方法。因此，應該訓練新的模型，從而確保在成像參數、模態和樣本變化時獲得最佳結果。

隨著螢光指示劑的發展朝著更快的動力學方向發展，以監測毫秒的生物動力學來記錄這些快速活動所需的成像速度不斷增長。對於依賴時間冗餘的去雜訊方法來說，獲得足夠的取樣率變得越來越具有挑戰性。該團隊的觀點是透過尋求利用空間冗餘作為替代方案來填補這一空白，從而在更多成像應用中實現自我監督去噪。

儘管空間冗餘採樣的完美情況是空間採樣率比衍射極限的奈奎斯特採樣高兩倍，從而確保兩個相鄰像素具有幾乎相同的光學信號；但在大多數情況下，兩個空間下採樣的子序列之間的內生相似性足以指導網路的訓練。

然而，這並不意味著所提出的空間冗餘採樣策略可以完全取代時間冗餘採樣，因為消融研究表明，如果配備相同的網路架構，時間冗餘取樣可以在高速成像中取得更好的效能。 SRDTrans 在高成像速度下相對於 DeepCAD 的優勢實際上歸功於 Transformer 架構。

一般來說，空間冗餘和時間冗餘是兩種互補的取樣策略，可實現螢光延時成像去噪網路的自監督訓練。使用哪種採樣策略取決於資料中哪種冗餘更充分。值得注意的是，在許多情況下，兩種冗餘都不足以支援目前的採樣策略。開發特定的或更通用的自監督去噪方法，對於螢光成像具有持久的價值。

論文連結：https://www.nature.com/articles/s43588-023-00568-2

以上是以自監督方式去除螢光影像中的噪聲，清華團隊開發空間冗餘去噪Transformer方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！