찾다
기술 주변기기일체 포함'Stable Diffusion 기술을 이용한 영상 재현, CVPR 학회에서 관련 연구 채택'

인공지능이 당신의 상상을 해석하고, 당신 마음속의 이미지를 현실로 바꿀 수 있다면 어떨까요?

Stable Diffusion读你大脑信号就能重现图像,研究还被CVPR接收了

약간 사이버펑크처럼 들리긴 하지만요. 그런데 최근 발표된 논문이 AI계에 파문을 일으켰다.

Stable Diffusion读你大脑信号就能重现图像,研究还被CVPR接收了

본 논문에서는 최근 매우 인기를 끌고 있는 Stable Diffusion을 이용하여 뇌 활동의 고해상도, 고정밀 영상을 재구성할 수 있음을 발견했습니다. 저자는 이전 연구와 달리 이러한 이미지를 생성하기 위해 인공 지능 모델을 훈련하거나 미세 조정할 필요가 없다고 썼습니다.

Stable Diffusion读你大脑信号就能重现图像,研究还被CVPR接收了


  • 문서 주소: https://www.biorxiv.org/content/10.1101/2022.11.18.517004v2.full.pdf
  • 웹페이지 주소: https: //sites.google.com/view/stablediffusion-with-brain/

어떻게 하나요?

이 연구에서 저자는 Stable Diffusion을 사용하여 기능적 자기공명영상(fMRI)을 통해 얻은 인간의 뇌 활동 영상을 재구성했습니다. 저자는 또한 뇌 관련 기능의 다양한 구성 요소(예: 이미지 Z의 잠재 벡터 등)를 연구하여 암시적 확산 모델의 메커니즘을 이해하는 것도 도움이 된다고 말했습니다.

이 논문은 CVPR 2023에서도 승인되었습니다.

이 연구의 주요 기여는 다음과 같습니다.

  • 간단한 프레임워크가 복잡한 훈련이나 미세 조정 없이 높은 의미 충실도로 뇌 활동의 고해상도(512×512) 이미지를 재구성할 수 있음을 입증했습니다. 모델은 아래 그림과 같습니다.
  • 특정 구성 요소를 서로 다른 뇌 영역에 매핑함으로써 이 연구는 신경과학 관점에서 LDM의 각 구성 요소를 정량적으로 설명합니다. LDM이 구현하는 텍스트-이미지 변환 프로세스는 원본 이미지의 모양을 유지하면서 조건부 텍스트로 표현된 의미 정보를 결합합니다.
  • 방법론 개요
본 연구의 전반적인 방법론은 아래 그림 2와 같습니다. 그림 2(상단)는 본 연구에 사용된 LDM의 개략도이며, 여기서 ε은 이미지 인코더, D는 이미지 디코더, τ는 텍스트 인코더(CLIP)를 나타냅니다.

그림 2(가운데)는 본 연구의 디코딩 분석에 대한 개략도입니다. 우리는 각각 초기(파란색) 및 고차(노란색) 시각 피질 내의 fMRI 신호에서 제시된 이미지(z) 및 관련 텍스트 c의 기본 표현을 디코딩했습니다. 이러한 잠재 표현은 재구성된 이미지 X_zc를 생성하기 위한 입력으로 사용됩니다.

그림 2(하단)는 본 연구의 코딩 분석에 대한 개략도이다. z, c 및 z_c를 포함하여 LDM의 다양한 구성 요소에서 fMRI 신호를 예측하기 위해 인코딩 모델을 구축했습니다.

Stable Diffusion读你大脑信号就能重现图像,研究还被CVPR接收了여기서 Stable Diffusion에 대해 너무 많이 소개하지는 않겠습니다. 이미 많은 분들이 알고 계시리라 믿습니다.

결과

이 연구의 시각적 재구성 결과를 살펴보겠습니다.

디코딩

아래 그림 3은 피사체(subj01)의 시각적 재구성 결과를 보여줍니다. 각 테스트 이미지에 대해 5개의 이미지를 생성하고 PSM이 가장 높은 이미지를 선택했습니다. 한편, z만을 사용하여 재구성된 이미지는 원본 이미지와 시각적으로 일치하지만 의미적 내용을 포착하는 데는 실패합니다. 반면, c만으로 재구성된 이미지는 의미 충실도가 높은 이미지를 생성하지만 시각적으로 일관성이 없습니다. 마지막으로 z_c 재구성 이미지를 사용하면 의미 충실도가 높은 고해상도 이미지를 생성할 수 있습니다.

Stable Diffusion读你大脑信号就能重现图像,研究还被CVPR接收了

그림 4는 모든 테스터가 동일한 이미지를 재구성한 것을 보여줍니다(모든 이미지는 z_c로 생성됨). 전반적으로 테스터 전체의 재구성 품질은 안정적이고 정확했습니다.

Stable Diffusion读你大脑信号就能重现图像,研究还被CVPR接收了

그림 5는 정량적 평가 결과입니다. 그림 6은 세 가지 유형의 LDM에 대한 인코딩 모델을 보여줍니다. 관련 잠상 예측 정확도: z, 원본 이미지의 잠상, c, 이미지 텍스트 주석의 잠상 및 z_c, c를 사용한 교차 주의 역확산 프로세스 후의 시끄러운 잠상 표현. .

Stable Diffusion读你大脑信号就能重现图像,研究还被CVPR接收了

그림 7은 소량의 노이즈가 추가되었을 때 z가 z_c보다 피질 전체의 복셀 활동을 더 잘 예측한다는 것을 보여줍니다. 흥미롭게도 z_c는 노이즈 수준을 높일 때 z보다 높은 시각 피질 내 복셀 활동을 더 잘 예측하여 이미지의 의미적 내용이 점차 강조된다는 것을 나타냅니다.

반복적인 노이즈 제거 프로세스 중에 추가된 노이즈의 기본 표현은 어떻게 변경되나요? 그림 8은 잡음 제거 과정의 초기 단계에서 z-신호가 fMRI 신호 예측을 지배한다는 것을 보여줍니다. 잡음 제거 프로세스의 중간 단계에서 z_c는 상위 시각 피질 내 활동을 z보다 훨씬 더 잘 예측하며, 이는 대부분의 의미 체계 콘텐츠가 이 단계에서 나타난다는 것을 나타냅니다. 결과는 LDM이 노이즈로부터 이미지를 개선하고 생성하는 방법을 보여줍니다.

Stable Diffusion读你大脑信号就能重现图像,研究还被CVPR接收了

마지막으로 연구진은 U-Net의 각 계층이 어떤 정보를 처리하는지 탐색했습니다. 그림 9는 잡음 제거 프로세스의 다양한 단계(초기, 중간, 후기)의 결과와 U-Net의 다양한 계층의 인코딩 모델을 보여줍니다. 잡음 제거 프로세스의 초기 단계에서 U-Net의 병목 현상 계층(주황색)은 전체 피질에서 가장 높은 예측 성능을 제공합니다. 그러나 잡음 제거가 진행됨에 따라 U-Net(파란색)의 초기 계층은 초기 시각 피질 내의 활동을 예측하는 반면, 병목 현상 계층은 더 높은 시각 피질에 대한 우수한 예측 능력으로 이동합니다.

Stable Diffusion读你大脑信号就能重现图像,研究还被CVPR接收了

자세한 연구 내용은 원본 논문을 확인하세요.

위 내용은 'Stable Diffusion 기술을 이용한 영상 재현, CVPR 학회에서 관련 연구 채택'의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
Markitdown MCP는 모든 문서를 Markdowns로 변환 할 수 있습니다!Markitdown MCP는 모든 문서를 Markdowns로 변환 할 수 있습니다!Apr 27, 2025 am 09:47 AM

문서 처리는 더 이상 AI 프로젝트에서 파일을 여는 것이 아니라 혼돈을 명확하게 전환하는 것입니다. PDF, PowerPoint 및 Word와 같은 문서는 모든 모양과 크기로 워크 플로우를 범람합니다. 구조화 된 검색

빌딩 에이전트에 Google ADK를 사용하는 방법은 무엇입니까? - 분석 Vidhya빌딩 에이전트에 Google ADK를 사용하는 방법은 무엇입니까? - 분석 VidhyaApr 27, 2025 am 09:42 AM

Google의 에이전트 개발 키트 (ADK)의 전력을 활용하여 실제 기능을 갖춘 지능형 에이전트를 만듭니다! 이 튜토리얼은 Gemini 및 GPT와 같은 다양한 언어 모델을 지원하는 ADK를 사용하여 대화 에이전트를 구축하는 것을 안내합니다. w

효과적인 문제 해결을 위해 LLM을 통해 SLM 사용 - 분석 Vidhya효과적인 문제 해결을 위해 LLM을 통해 SLM 사용 - 분석 VidhyaApr 27, 2025 am 09:27 AM

요약: SLM (Small Language Model)은 효율성을 위해 설계되었습니다. 자원 결핍, 실시간 및 개인 정보 보호 환경에서 LLM (Large Language Model)보다 낫습니다. 초점 기반 작업, 특히 도메인 특이성, 제어 성 및 해석 성이 일반적인 지식이나 창의성보다 더 중요합니다. SLM은 LLM을 대체하지는 않지만 정밀, 속도 및 비용 효율성이 중요 할 때 이상적입니다. 기술은 더 적은 자원으로 더 많은 것을 달성하는 데 도움이됩니다. 그것은 항상 운전자가 아니라 프로모터였습니다. 증기 엔진 시대부터 인터넷 버블 시대에 이르기까지 기술의 힘은 문제를 해결하는 데 도움이되는 정도입니다. 인공 지능 (AI) 및보다 최근에 생성 AI가 예외는 아닙니다.

컴퓨터 비전 작업에 Google Gemini 모델을 사용하는 방법은 무엇입니까? - 분석 Vidhya컴퓨터 비전 작업에 Google Gemini 모델을 사용하는 방법은 무엇입니까? - 분석 VidhyaApr 27, 2025 am 09:26 AM

컴퓨터 비전을위한 Google Gemini의 힘을 활용 : 포괄적 인 가이드 주요 AI 챗봇 인 Google Gemini는 강력한 컴퓨터 비전 기능을 포괄하기 위해 대화를 넘어서 기능을 확장합니다. 이 안내서는 사용 방법에 대해 자세히 설명합니다

Gemini 2.0 Flash vs O4-Mini : Google은 OpenAi보다 더 잘할 수 있습니까?Gemini 2.0 Flash vs O4-Mini : Google은 OpenAi보다 더 잘할 수 있습니까?Apr 27, 2025 am 09:20 AM

2025 년의 AI 환경은 Google의 Gemini 2.0 Flash와 Openai의 O4-Mini가 도착하면서 전기가 전환됩니다. 이 최첨단 모델은 몇 주 간격으로 발사되어 비슷한 고급 기능과 인상적인 벤치 마크 점수를 자랑합니다. 이 심층적 인 비교

OpenAi GPT-Image-1 API를 사용하여 이미지를 생성하고 편집하는 방법OpenAi GPT-Image-1 API를 사용하여 이미지를 생성하고 편집하는 방법Apr 27, 2025 am 09:16 AM

OpenAi의 최신 멀티 모드 모델 인 GPT-Image-1은 ChatGpt 내 및 API를 통해 이미지 생성을 혁신합니다. 이 기사는 기능, 사용 및 응용 프로그램을 탐구합니다. 목차 GPT-IMAGE-1 이해 GPT-Image-1의 주요 기능

CleanLab을 사용하여 데이터 전처리를 수행하는 방법은 무엇입니까? - 분석 VidhyaCleanLab을 사용하여 데이터 전처리를 수행하는 방법은 무엇입니까? - 분석 VidhyaApr 27, 2025 am 09:15 AM

성공적인 기계 학습의 경우 데이터 전처리가 가장 중요하지만 실제 데이터 세트에는 종종 오류가 포함됩니다. CleanLab은 파이썬 패키지를 사용하여 자신감있는 학습 알고리즘을 구현하는 효율적인 솔루션을 제공합니다. 감지를 자동화합니다

AI 기술 격차는 공급망을 늦추고 있습니다AI 기술 격차는 공급망을 늦추고 있습니다Apr 26, 2025 am 11:13 AM

"AI-Ready Workforce"라는 용어는 자주 사용되지만 공급망 산업에서 실제로 무엇을 의미합니까? ASCM (Association for Supply Chain Management)의 CEO 인 Abe Eshkenazi에 따르면 비평가가 가능한 전문가를 의미합니다.

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

Atom Editor Mac 버전 다운로드

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

Dreamweaver Mac版

Dreamweaver Mac版

시각적 웹 개발 도구

VSCode Windows 64비트 다운로드

VSCode Windows 64비트 다운로드

Microsoft에서 출시한 강력한 무료 IDE 편집기

WebStorm Mac 버전

WebStorm Mac 버전

유용한 JavaScript 개발 도구