자기 감독 방식으로 형광 이미지의 노이즈를 제거하기 위해 Tsinghua 팀은 공간 중복 노이즈 제거 변환기 방법을 개발했습니다.

형광 이미징의 높은 신호 대 잡음비는 생물학적 현상을 정확하게 시각화하는 데 중요하지만 노이즈 문제는 이미징 감도에 대한 주요 과제 중 하나로 남아 있습니다.

칭화대학교 연구팀은 자기주도 방식으로 형광 이미지의 노이즈를 제거하는 SRDTrans(Spatial Redundancy Denoising Transformer)를 제공합니다.

팀은 공간 중복성을 기반으로 인접한 직교 훈련 쌍을 추출하고 높은 이미징 속도에 대한 의존성을 제거하는 새로운 샘플링 전략을 제안했습니다. 또한 그들은 낮은 계산 비용으로 먼 종속성 및 고해상도 기능을 캡처할 수 있는 경량 시공간 Transformer 아키텍처를 개발했습니다.

SRDTrans는 구조를 과도하게 평활화하거나 형광 흔적을 왜곡하지 않고 고주파 정보를 보존할 수 있습니다. 또한 SRDTrans는 특정 이미징 절차 및 샘플 가정에 의존하지 않으므로 다양한 이미징 양식 및 생물학적 응용 분야로 확장하는 데 적합합니다.

이 연구의 제목은 "자가 감독 형광 이미지 제거를 위한 공간 중복 변환기"이며 2023년 12월 11일 "Nature Computational Science"에 게재되었습니다.

체내 이미징 기술의 급속한 발전을 통해 연구자들은 미크론, 심지어 나노 규모에서도 생물학적 구조와 활동을 관찰할 수 있습니다. 널리 사용되는 이미징 방법인 형광 현미경은 높은 시공간 해상도와 분자 특이성을 통해 새로운 생리학적 및 병리학적 메커니즘을 밝히는 데 도움이 됩니다. 형광 현미경 검사의 주요 목표는 다운스트림 분석의 정확성을 보장하고 확실한 결론을 뒷받침할 만큼 충분한 샘플 정보가 포함된 깨끗하고 명확한 이미지를 얻는 것입니다.

그러나 다양한 생물리학적, 생화학적 요인의 영향으로 인해 형광 이미징은 실제 작동에 다양한 한계를 안고 있습니다. 예를 들어, 형광단의 밝기, 광독성 및 광표백은 모두 이미징 결과에 부정적인 영향을 미칠 수 있습니다. 광자 제한의 경우 고유한 광자 샷 노이즈는 특히 저조도 및 고속 관찰 조건에서 이미지의 신호 대 잡음비(SNR)를 크게 줄일 수 있습니다. 이러한 요인은 형광 이미징의 품질과 신뢰성을 어렵게 만들고 실제로 극복하고 최적화해야 합니다.

형광 이미지에서 노이즈를 제거하기 위해 다양한 방법이 제안되었습니다. 수치 필터링과 수학적 최적화를 기반으로 하는 기존 노이즈 제거 알고리즘은 성능이 만족스럽지 못하고 적용성이 제한되어 있습니다. 최근 몇 년 동안 딥러닝은 이미지 노이즈 제거 분야에서 놀라운 성과를 보여왔습니다.

Ground Truth(GT) 데이터 세트를 사용하여 반복적으로 학습함으로써 심층 신경망은 잡음이 있는 이미지와 깨끗한 이미지 간의 매핑 관계를 학습할 수 있습니다. 이 감독 방법의 효율성은 주로 페어링된 GT 이미지에 따라 달라집니다.

샘플은 종종 급격한 동적 변화를 겪기 때문에 살아있는 유기체의 활동을 관찰할 때 픽셀별 정합으로 깨끗한 이미지를 얻는 것은 큰 도전입니다. 이러한 모순을 완화하기 위해 형광 이미징에서 보다 적용 가능하고 실용적인 노이즈 제거를 달성하기 위한 몇 가지 자체 감독 방법이 제안되었습니다.

더 나은 노이즈 제거 성능을 얻으려면 컨볼루션 커널의 지역성으로 인해 CNN(컨볼루션 신경망)에서 부족한 전역 공간 정보와 장거리 시간 상관 관계를 동시에 추출하는 능력이 중요합니다. 또한 고유한 스펙트럼 편향으로 인해 CNN은 고주파 특성을 무시하고 저주파 특성을 우선적으로 맞추는 경향이 있어 필연적으로 지나치게 부드러운 노이즈 제거 결과를 생성합니다.

칭화대학교 연구팀은 이러한 딜레마를 해결하기 위해 SRDTrans(Spatial Redundancy Denoising Transformer)를 제안했습니다.

그림: SRDTrans 원리 및 성능 평가. (출처: 논문)

한편, 연구원들은 두 직교 방향의 원시 저속 데이터에서 3차원(3D) 훈련 쌍을 추출하기 위한 공간 중복 샘플링 전략을 제안했습니다.

이 방식은 인접한 두 프레임 간의 유사성에 의존하지 않으므로 SRDTrans는 팀이 이전에 시간 중복성을 활용하기 위해 제안한 DeepCAD를 보완하는 매우 빠른 활동과 매우 낮은 이미징 속도에 적합합니다.

SRDTrans는 대비 메커니즘, 노이즈 모델, 샘플 역학 및 이미징 속도에 대한 가정에 의존하지 않기 때문입니다. 따라서 막 전압 이미징, 단일 단백질 검출, 광시트 현미경, 공초점 현미경, 라이트 필드 현미경 및 초고해상도 현미경과 같은 다른 생물학적 시료 및 이미징 양식으로 쉽게 확장할 수 있습니다.

한편, 연구원들은 장거리 상관관계를 완전히 활용하기 위해 경량 시공간 변환 네트워크를 설계했습니다. 최적화된 특징 상호작용 메커니즘을 통해 모델은 적은 수의 매개변수로 고해상도 특징을 얻을 수 있습니다. 기존 CNN과 비교하여 제안된 SRDTrans는 더 강력한 전역 인식 및 고주파수 유지 기능을 가지며 이전에는 식별하기 어려웠던 세밀한 시공간 패턴을 밝힐 수 있습니다.

팀은 두 가지 대표적인 응용 분야에서 SRDTrans의 뛰어난 소음 감소 성능을 시연했습니다. 첫 번째는 단일 분자 국소화 현미경(SMLM)으로, 인접한 프레임은 형광단의 무작위 하위 집합입니다.

그림: 실험적인 SMLM 데이터에 SRDTrans 적용. (출처: 논문)

다른 하나는 0.3Hz의 낮은 체적 속도에서 대규모 3D 신경 집단의 2광자 칼슘 이미징입니다. 광범위한 정성적 및 정량적 결과는 SRDTrans가 다양한 세포 및 세포하 현상을 관찰하기 위한 형광 이미징에 필수적인 노이즈 제거 도구 역할을 할 수 있음을 보여줍니다.

그림: 큰 신경량에 대한 고감도 칼슘 이미징. (출처: 논문)

SRDTrans에도 몇 가지 제한 사항이 있는데, 주로 인접한 픽셀이 대략적인 구조를 가져야 한다는 기본 가정에 있습니다. 공간 샘플링 속도가 너무 낮아서 충분한 중복성을 제공할 수 없으면 SRDTrans가 실패합니다. 또 다른 잠재적 위험은 SRDTrans의 경량 네트워크 아키텍처가 특정 작업에 더 적합하기 때문에 일반화하는 능력입니다.

특정 데이터에 대해 특정 모델을 훈련시키는 것이 형광 이미지 노이즈 제거를 위해 딥 러닝을 사용하는 가장 신뢰할 수 있는 방법이라고 믿습니다. 따라서 이미징 매개변수, 양식 및 샘플이 변경될 때 최적의 결과를 보장하려면 새로운 모델을 교육해야 합니다.

형광 표시기의 개발이 더 빠른 동역학 방향으로 이동함에 따라 이러한 빠른 활동을 기록하기 위해 밀리초 수준에서 생물학적 역학을 모니터링하는 데 필요한 이미징 속도가 계속해서 증가하고 있습니다. 시간적 중복성에 의존하는 잡음 제거 방법의 경우 충분한 샘플링 속도를 얻는 것이 점점 더 어려워지고 있습니다. 팀의 관점은 더 많은 이미징 애플리케이션에서 자기 감독 노이즈 제거를 활성화하는 대안으로 공간 중복성을 활용하여 이러한 격차를 메우는 것입니다.

공간 중복 샘플링의 완벽한 사례는 회절 제한 Nyquist 샘플링보다 공간 샘플링 속도가 두 배 높기 때문에 대부분의 경우 인접한 두 픽셀이 거의 동일한 광학 신호를 갖도록 보장하지만, 두 공간 다운샘플링 간의 내생적 유사성은 하위 시퀀스는 네트워크 훈련을 안내하기에 충분합니다.

그러나 이것이 제안된 공간 중복 샘플링 전략이 시간 중복 샘플링을 완전히 대체할 수 있다는 의미는 아닙니다. 절제 연구에 따르면 시간 중복 샘플링이 동일한 네트워크 아키텍처를 갖춘 경우 고속 이미징에서 더 나은 결과를 얻을 수 있다는 것이 밝혀졌기 때문입니다. 좋은 성능. 높은 이미징 속도에서 DeepCAD에 비해 SRDTrans의 장점은 실제로 Transformer 아키텍처 때문입니다.

일반적으로 말하면, 공간적 중복성과 시간적 중복성은 형광 시간 경과 영상 노이즈 제거 네트워크의 자체 감독 훈련을 달성할 수 있는 두 가지 보완적인 샘플링 전략입니다. 어떤 샘플링 전략이 사용되는지는 데이터에서 어떤 중복성이 더 큰지에 따라 달라집니다. 많은 경우 중복성이 현재 샘플링 전략을 지원하기에 충분하지 않다는 점은 주목할 가치가 있습니다. 특정하거나 보다 일반적인 자기 감독 노이즈 제거 방법의 개발은 형광 이미징에 지속적인 가치를 제공할 것입니다.

논문 링크: https://www.nature.com/articles/s43588-023-00568-2

위 내용은 자기 감독 방식으로 형광 이미지의 노이즈를 제거하기 위해 Tsinghua 팀은 공간 중복 노이즈 제거 변환기 방법을 개발했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!