自己監視型の方法で蛍光画像のノイズを除去するために、清華大学のチームは空間冗長性ノイズ除去 Transformer 法を開発しました。

蛍光イメージングの高い S/N 比は、生物学的現象を正確に視覚化するために重要ですが、ノイズの問題は依然としてイメージング感度に対する大きな課題の 1 つです。

清華大学の研究チームは、自己監視型で蛍光画像のノイズを除去する空間冗長ノイズ除去トランス (SRDTrans) を提供しています。

チームは、空間的冗長性に基づいて隣接する直交トレーニング ペアを抽出し、高速イメージング速度への依存を排除​​する新しいサンプリング戦略を提案しました。さらに、遠く離れた依存関係や高解像度の特徴を低い計算コストでキャプチャできる軽量の時空間 Transformer アーキテクチャを開発しました。

SRDTrans は、構造の過剰な平滑化や蛍光トレースの歪みを引き起こすことなく、高周波情報を保存します。さらに、SRDTrans は特定のイメージング手順やサンプルの仮定に依存しないため、さまざまなイメージングモダリティや生物学的アプリケーションへの拡張に適しています。

この研究は「自己教師あり蛍光画像ノイズ除去のための空間冗長トランスフォーマー」というタイトルで、2023年12月11日に「Nature Computational Science」に掲載されました。

#in vivo イメージング技術の急速な発展により、研究者はミクロン、さらにはナノスケールで生物学的な構造や活動を観察できるようになりました。一般的なイメージング手法である蛍光顕微鏡は、その高い時空間分解能と分子特異性により、新しい生理学的および病理学的メカニズムを明らかにするのに役立ちます。蛍光顕微鏡検査の主な目的は、下流の分析の精度を確保し、確信のある結論を裏付けるために十分なサンプル情報を含む、きれいで鮮明な画像を取得することです。

しかし、さまざまな生物物理学的および生化学的要因の影響により、蛍光イメージングは​​実際の操作においてさまざまな制限を受けます。たとえば、蛍光色素の明るさ、光毒性、光退色はすべて、イメージング結果に悪影響を与える可能性があります。フォトン制限の場合、特に低照度および高速観察条件下では、固有のフォトン ショット ノイズにより画像の信号対ノイズ比 (SNR) が大幅に低下する可能性があります。これらの要因により、蛍光イメージングの品質と信頼性が困難になり、実際には克服して最適化する必要があります。

#蛍光画像のノイズを除去するために、さまざまな方法が提案されています。数値フィルタリングと数学的最適化に基づく従来のノイズ除去アルゴリズムは、パフォーマンスが満足のいくものではなく、適用性も限られています。近年、ディープラーニングは画像のノイズ除去の分野で目覚ましい成果を上げています。

グラウンド トゥルース (GT) データセットを使用して反復的にトレーニングすることにより、ディープ ニューラル ネットワークは、ノイズの多い画像とクリーンな対応する画像の間のマッピング関係を学習できます。この監視方法の有効性は主に、ペアになった GT イメージに依存します。

生物の活動を観察する場合、サンプルは急速に動的に変化することが多いため、ピクセルごとの位置合わせできれいな画像を取得することは大きな課題です。この矛盾を軽減するために、蛍光イメージングにおいてより適用可能で実用的なノイズ除去を実現するためのいくつかの自己教師型方法が提案されています。

より優れたノイズ除去パフォーマンスを得るには、グローバルな空間情報と長距離の時間相関を同時に抽出する機能が重要です。コンボリューション カーネルの局所性により、これはニューラル ネットワーク (CNN) がありません。さらに、固有のスペクトル バイアスにより、CNN は高周波の特徴を無視して低周波の特徴を優先的に適合させる傾向があり、必然的に過度に滑らかなノイズ除去結果が生成されます。

清華大学の研究チームは、これらのジレンマを解決するために空間冗長性ノイズ除去トランス (SRDTrans) を提案しました。

#図: SRDTrans の原理と性能評価。 (出典: 論文)

一方、研究者らは、直交する 2 方向の生のタイムラプス データから 3 次元 (3D) トレーニングを抽出する、空間的に冗長なサンプリング戦略を提案しました。 。

このスキームは 2 つの隣接するフレーム間の類似性に依存しないため、SRDTrans は非常に高速なアクティビティや非常に低いイメージング速度に適しています。これは、チームが以前に提案した DeepCAD の利用方法と一致しています。時間的冗長性は補完的です。

SRDTrans は、コントラスト メカニズム、ノイズ モデル、サンプル ダイナミクス、イメージング速度に関するいかなる仮定にも依存しません。したがって、膜電圧イメージング、単一タンパク質検出、ライトシート顕微鏡、共焦点顕微鏡、ライトフィールド顕微鏡、超解像顕微鏡など、他の生体サンプルやイメージングモダリティにも簡単に拡張できます。

一方、研究者らは、長距離相関を最大限に活用する軽量の時空間変換ネットワークを設計しました。最適化された特徴相互作用メカニズムにより、モデルは少数のパラメーターで高解像度の特徴を取得できます。従来の CNN と比較して、提案された SRDTrans は、より強力なグローバル認識と高頻度の維持機能を備えており、以前は識別することが困難であったきめの細かい時空間パターンを明らかにすることができます。

チームは、2 つの代表的なアプリケーションで SRDTrans の優れたノイズ低減パフォーマンスを実証しました。 1 つ目は、隣接するフレームが蛍光団のランダムなサブセットである単一分子局在顕微鏡法 (SMLM) です。

図: SRDTrans を実験的な SMLM データに適用します。 (出典: 論文)

もう 1 つは、0.3Hz という低い体積速度での大規模な 3D ニューロン集団の 2 光子カルシウム イメージングです。広範な定性的および定量的結果は、SRDTrans がさまざまな細胞および細胞内現象を観察するための蛍光イメージングに不可欠なノイズ除去ツールとして機能できることを示しています。

図: 大きな神経体積の高感度カルシウムイメージング。 (出典: 論文)

SRDTrans にもいくつかの制限があります。主に、隣接するピクセルが近似した構造を持つ必要があるという基本的な前提にあります。空間サンプリング レートが低すぎて十分な冗長性を提供できない場合、SRDTrans は失敗します。もう 1 つの潜在的なリスクは、SRDTrans の軽量ネットワーク アーキテクチャが特定のタスクにより適しているため、一般化できることです。

蛍光画像のノイズ除去に深層学習を使用する最も信頼できる方法は、特定のデータに対して特定のモデルをトレーニングすることであると考えられています。したがって、イメージングパラメータ、モダリティ、サンプルが変更された場合に最適な結果を保証するために、新しいモデルをトレーニングする必要があります。

蛍光指示薬の開発がより高速な反応速度に向かって進むにつれて、生物学的動態をミリ秒レベルで監視してこれらの急速な活動を記録するために必要なイメージング速度は増加し続けています。時間的冗長性に依存するノイズ除去方法では、十分なサンプリング レートを取得することがますます困難になっています。チームの展望は、より多くの画像アプリケーションで自己監視型ノイズ除去を可能にする代替手段として空間冗長性を活用することによって、このギャップを埋めることです。

空間的冗長サンプリングの最適なケースは、回折限界ナイキスト サンプリングの 2 倍高い空間サンプリング レートであり、これにより隣接する 2 つのピクセルがほぼ同一の光信号を持つことが保証されます。ほとんどの場合、空間的にダウンサンプリングされた 2 つのサブシーケンス間の内因性の類似性は、ネットワークのトレーニングをガイドするのに十分です。

ただし、これは、提案されている空間冗長サンプリング戦略が時間冗長サンプリングを完全に置き換えることができるという意味ではありません。アブレーション研究では、同じネットワーク アーキテクチャが装備されている場合、時間冗長サンプリングの方がより優れた効果を実現できることが示されているためです。高速撮影性能を発揮します。高速イメージングにおける DeepCAD に対する SRDTrans の利点は、実際には Transformer アーキテクチャによるものです。

一般的に言えば、空間的冗長性と時間的冗長性は、蛍光タイムラプスイメージングノイズ除去ネットワークの自己教師ありトレーニングを実現できる 2 つの相補的なサンプリング戦略です。どのサンプリング戦略が使用されるかは、データ内のどちらの冗長性が大きいかによって決まります。多くの場合、どちらの冗長性も現在のサンプリング戦略をサポートするには十分ではないことに注意してください。特定の、またはより一般的な自己監視型ノイズ除去法の開発は、蛍光イメージングにとって永続的な価値を持つでしょう。

論文リンク: https://www.nature.com/articles/s43588-023-00568-2

以上が自己監視型の方法で蛍光画像のノイズを除去するために、清華大学のチームは空間冗長性ノイズ除去 Transformer 法を開発しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。