Pour supprimer le bruit dans les images de fluorescence de manière auto-supervisée, l'équipe Tsinghua a développé la méthode Transformer de débruitage par redondance spatiale.

Le rapport signal/bruit élevé de l’imagerie par fluorescence est crucial pour une visualisation précise des phénomènes biologiques, cependant, la question du bruit reste l’un des défis majeurs de la sensibilité de l’imagerie.

L'équipe de recherche de l'Université Tsinghua fournit le transformateur de débruitage à redondance spatiale (SRDTrans) pour éliminer le bruit dans les images de fluorescence de manière auto-supervisée.

L'équipe a proposé une nouvelle stratégie d'échantillonnage pour extraire les paires d'entraînement orthogonales adjacentes basées sur la redondance spatiale et éliminer la dépendance à une vitesse d'imagerie élevée. En outre, ils ont développé une architecture Transformer spatio-temporelle légère, capable de capturer des dépendances distantes et des fonctionnalités haute résolution à faible coût de calcul.

SRDTrans est capable de préserver les informations haute fréquence sans provoquer de lissage excessif des structures ni de distorsion des traces de fluorescence. De plus, SRDTrans ne s’appuie pas sur des procédures d’imagerie spécifiques ni sur des hypothèses en matière d’échantillons, ce qui le rend adapté à une expansion dans diverses modalités d’imagerie et applications biologiques.

L'étude s'intitulait "Spatial redundancy transformer for self-supervised fluorescence image denoising" et a été publiée dans "Nature Computational Science" le 11 décembre 2023.

Le développement rapide de la technologie d'imagerie in vivo permet aux chercheurs d'observer des structures et des activités biologiques à l'échelle micronique et même nanométrique. La microscopie à fluorescence, en tant que méthode d'imagerie populaire, permet de révéler de nouveaux mécanismes physiologiques et pathologiques grâce à sa haute résolution spatio-temporelle et sa spécificité moléculaire. L’objectif principal de la microscopie à fluorescence est d’obtenir des images nettes et claires contenant suffisamment d’informations sur les échantillons pour garantir l’exactitude de l’analyse en aval et étayer des conclusions fiables.

Cependant, en raison de l'influence de divers facteurs biophysiques et biochimiques, l'imagerie par fluorescence souffre de diverses limitations dans les opérations pratiques. Par exemple, la luminosité, la phototoxicité et le photoblanchiment des fluorophores peuvent tous avoir un impact négatif sur les résultats d’imagerie. Dans le cas d'une limitation des photons, le bruit inhérent aux photons peut réduire considérablement le rapport signal/bruit (SNR) de l'image, en particulier dans des conditions de faible éclairage et d'observation à grande vitesse. Ces facteurs rendent la qualité et la fiabilité de l’imagerie par fluorescence difficiles et doivent être surmontées et optimisées dans la pratique.

Diverses méthodes ont été proposées pour supprimer le bruit dans les images de fluorescence. Les algorithmes de débruitage traditionnels basés sur le filtrage numérique et l'optimisation mathématique ont des performances insatisfaisantes et une applicabilité limitée. Ces dernières années, l’apprentissage profond a donné des résultats remarquables dans le domaine du débruitage des images.

Grâce à un entraînement itératif à l'aide d'ensembles de données de vérité terrain (GT), les réseaux de neurones profonds sont capables d'apprendre la relation cartographique entre les images bruitées et leurs homologues propres. L’efficacité de cette méthode de supervision dépend principalement des images GT appariées.

Obtenir des images nettes avec un enregistrement pixel par pixel est un défi de taille lors de l'observation de l'activité des organismes vivants, car les échantillons subissent souvent des changements dynamiques rapides. Afin d'atténuer cette contradiction, certaines méthodes auto-supervisées ont été proposées pour obtenir un débruitage plus applicable et plus pratique en imagerie par fluorescence.

Afin d'obtenir de meilleures performances de débruitage, la capacité d'extraire simultanément des informations spatiales globales et une corrélation temporelle à longue portée est cruciale, ce qui fait défaut dans les réseaux de neurones convolutifs (CNN) en raison de la localité du noyau de convolution. De plus, le biais spectral inhérent fait que CNN a tendance à adapter préférentiellement les caractéristiques basse fréquence tout en ignorant les caractéristiques haute fréquence, produisant inévitablement des résultats de débruitage trop fluides.

L'équipe de recherche de l'Université Tsinghua a proposé le transformateur de débruitage par redondance spatiale (SRDTrans) pour résoudre ces dilemmes.

Figure : Principe SRDTrans et évaluation des performances. (Source : article)

D'une part, les chercheurs ont proposé une stratégie d'échantillonnage spatialement redondante pour extraire des paires d'entraînement tridimensionnelles (3D) à partir de données brutes accélérées dans deux directions orthogonales.

Ce schéma ne repose pas sur la similitude entre deux images adjacentes, donc SRDTrans est adapté aux activités très rapides et aux vitesses d'imagerie extrêmement faibles, ce qui est complémentaire au DeepCAD précédemment proposé par l'équipe pour exploiter la redondance temporelle.

Étant donné que SRDTrans ne s'appuie sur aucune hypothèse concernant les mécanismes de contraste, les modèles de bruit, la dynamique des échantillons et la vitesse d'imagerie. Par conséquent, il peut être facilement étendu à d’autres échantillons biologiques et modalités d’imagerie, tels que l’imagerie de tension membranaire, la détection de protéines uniques, la microscopie à feuille de lumière, la microscopie confocale, la microscopie en champ lumineux et la microscopie à super-résolution.

D'autre part, les chercheurs ont conçu un réseau léger de transformation spatio-temporelle pour exploiter pleinement la corrélation à longue portée. Le mécanisme d'interaction des fonctionnalités optimisé permet au modèle d'obtenir des fonctionnalités haute résolution avec un petit nombre de paramètres. Par rapport au CNN classique, le SRDTrans proposé a une perception globale et des capacités de maintenance à haute fréquence plus fortes, et est capable de révéler des modèles spatio-temporels à granularité fine qui étaient auparavant difficiles à discerner.

L'équipe a démontré les performances supérieures de réduction du bruit de SRDTrans dans deux applications représentatives. La première est la microscopie de localisation de molécule unique (SMLM), où les images adjacentes sont des sous-ensembles aléatoires de fluorophores.

Figure : Application de SRDTrans aux données SMLM expérimentales. (Source : article)

L'autre est l'imagerie calcique à deux photons de grandes populations neuronales 3D à des vitesses volumétriques aussi basses que 0,3 Hz. De nombreux résultats qualitatifs et quantitatifs démontrent que SRDTrans peut servir d’outil de débruitage essentiel pour l’imagerie par fluorescence afin d’observer une variété de phénomènes cellulaires et subcellulaires.

Figure : Imagerie calcique très sensible de grands volumes neuronaux. (Source : article)

SRDTrans a également certaines limites, principalement dans l'hypothèse de base selon laquelle les pixels adjacents doivent avoir une structure approximative. SRDTrans échouera si le taux d'échantillonnage spatial est trop faible pour fournir une redondance suffisante. Un autre risque potentiel est la capacité à généraliser, car l’architecture réseau légère de SRDTrans est mieux adaptée à des tâches spécifiques.

Je crois que la formation d'un modèle spécifique pour des données spécifiques est le moyen le plus fiable d'utiliser l'apprentissage en profondeur pour le débruitage des images de fluorescence. Par conséquent, de nouveaux modèles doivent être formés pour garantir des résultats optimaux lorsque les paramètres, les modalités et les échantillons d’imagerie changent.

À mesure que le développement des indicateurs fluorescents évolue vers une cinétique plus rapide, la vitesse d'imagerie requise pour surveiller la dynamique biologique au niveau de la milliseconde afin d'enregistrer ces activités rapides continue de croître. Obtenir des taux d'échantillonnage suffisants devient de plus en plus difficile pour les méthodes de débruitage qui reposent sur la redondance temporelle. Le point de vue de l'équipe est de combler cette lacune en cherchant à exploiter la redondance spatiale comme alternative pour permettre un débruitage auto-supervisé dans davantage d'applications d'imagerie.

Bien que le cas parfait pour un échantillonnage spatialement redondant soit un taux d'échantillonnage spatial deux fois plus élevé que l'échantillonnage de Nyquist limité par diffraction, garantissant ainsi que deux pixels adjacents ont des signaux optiques presque identiques dans la plupart des cas, la similarité endogène entre les deux sous-échantillonnés spatialement ; Les sous-séquences suffisent à guider la formation du réseau.

Cependant, cela ne signifie pas que la stratégie d'échantillonnage redondant spatial proposée peut remplacer complètement l'échantillonnage redondant temporel, car des études d'ablation ont montré que l'échantillonnage redondant temporel peut obtenir de meilleurs résultats en imagerie à grande vitesse s'il est équipé de la même architecture de réseau. bonne performance. L'avantage de SRDTrans par rapport à DeepCAD à des vitesses d'imagerie élevées est en réalité dû à l'architecture Transformer.

D'une manière générale, la redondance spatiale et la redondance temporelle sont deux stratégies d'échantillonnage complémentaires qui permettent de réaliser un entraînement auto-supervisé de réseaux de débruitage d'imagerie time-lapse de fluorescence. La stratégie d'échantillonnage utilisée dépend de la redondance la plus élevée dans les données. Il convient de noter que dans de nombreux cas, aucune des deux redondances n’est suffisante pour prendre en charge les stratégies d’échantillonnage actuelles. Le développement de méthodes de débruitage auto-supervisées spécifiques ou plus générales sera d’un intérêt durable pour l’imagerie de fluorescence.

Lien papier : https://www.nature.com/articles/s43588-023-00568-2

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!