인공지능이 당신의 상상을 해석하고, 당신 마음속의 이미지를 현실로 바꿀 수 있다면 어떨까요?
약간 사이버펑크처럼 들리긴 하지만요. 그런데 최근 발표된 논문이 AI계에 파문을 일으켰다.
본 논문에서는 최근 매우 인기를 끌고 있는 Stable Diffusion을 이용하여 뇌 활동의 고해상도, 고정밀 영상을 재구성할 수 있음을 발견했습니다. 저자는 이전 연구와 달리 이러한 이미지를 생성하기 위해 인공 지능 모델을 훈련하거나 미세 조정할 필요가 없다고 썼습니다.
- 문서 주소: https://www.biorxiv.org/content/10.1101/2022.11.18.517004v2.full.pdf
- 웹페이지 주소: https: //sites.google.com/view/stablediffusion-with-brain/
어떻게 하나요?
이 연구에서 저자는 Stable Diffusion을 사용하여 기능적 자기공명영상(fMRI)을 통해 얻은 인간의 뇌 활동 영상을 재구성했습니다. 저자는 또한 뇌 관련 기능의 다양한 구성 요소(예: 이미지 Z의 잠재 벡터 등)를 연구하여 암시적 확산 모델의 메커니즘을 이해하는 것도 도움이 된다고 말했습니다.
이 논문은 CVPR 2023에서도 승인되었습니다.
이 연구의 주요 기여는 다음과 같습니다.
- 간단한 프레임워크가 복잡한 훈련이나 미세 조정 없이 높은 의미 충실도로 뇌 활동의 고해상도(512×512) 이미지를 재구성할 수 있음을 입증했습니다. 모델은 아래 그림과 같습니다.
- 특정 구성 요소를 서로 다른 뇌 영역에 매핑함으로써 이 연구는 신경과학 관점에서 LDM의 각 구성 요소를 정량적으로 설명합니다. LDM이 구현하는 텍스트-이미지 변환 프로세스는 원본 이미지의 모양을 유지하면서 조건부 텍스트로 표현된 의미 정보를 결합합니다.
- 방법론 개요
그림 2(가운데)는 본 연구의 디코딩 분석에 대한 개략도입니다. 우리는 각각 초기(파란색) 및 고차(노란색) 시각 피질 내의 fMRI 신호에서 제시된 이미지(z) 및 관련 텍스트 c의 기본 표현을 디코딩했습니다. 이러한 잠재 표현은 재구성된 이미지 X_zc를 생성하기 위한 입력으로 사용됩니다.
그림 2(하단)는 본 연구의 코딩 분석에 대한 개략도이다. z, c 및 z_c를 포함하여 LDM의 다양한 구성 요소에서 fMRI 신호를 예측하기 위해 인코딩 모델을 구축했습니다.
여기서 Stable Diffusion에 대해 너무 많이 소개하지는 않겠습니다. 이미 많은 분들이 알고 계시리라 믿습니다.
결과
이 연구의 시각적 재구성 결과를 살펴보겠습니다.디코딩
아래 그림 3은 피사체(subj01)의 시각적 재구성 결과를 보여줍니다. 각 테스트 이미지에 대해 5개의 이미지를 생성하고 PSM이 가장 높은 이미지를 선택했습니다. 한편, z만을 사용하여 재구성된 이미지는 원본 이미지와 시각적으로 일치하지만 의미적 내용을 포착하는 데는 실패합니다. 반면, c만으로 재구성된 이미지는 의미 충실도가 높은 이미지를 생성하지만 시각적으로 일관성이 없습니다. 마지막으로 z_c 재구성 이미지를 사용하면 의미 충실도가 높은 고해상도 이미지를 생성할 수 있습니다.
그림 4는 모든 테스터가 동일한 이미지를 재구성한 것을 보여줍니다(모든 이미지는 z_c로 생성됨). 전반적으로 테스터 전체의 재구성 품질은 안정적이고 정확했습니다.
그림 5는 정량적 평가 결과입니다. 그림 6은 세 가지 유형의 LDM에 대한 인코딩 모델을 보여줍니다. 관련 잠상 예측 정확도: z, 원본 이미지의 잠상, c, 이미지 텍스트 주석의 잠상 및 z_c, c를 사용한 교차 주의 역확산 프로세스 후의 시끄러운 잠상 표현. .
반복적인 노이즈 제거 프로세스 중에 추가된 노이즈의 기본 표현은 어떻게 변경되나요? 그림 8은 잡음 제거 과정의 초기 단계에서 z-신호가 fMRI 신호 예측을 지배한다는 것을 보여줍니다. 잡음 제거 프로세스의 중간 단계에서 z_c는 상위 시각 피질 내 활동을 z보다 훨씬 더 잘 예측하며, 이는 대부분의 의미 체계 콘텐츠가 이 단계에서 나타난다는 것을 나타냅니다. 결과는 LDM이 노이즈로부터 이미지를 개선하고 생성하는 방법을 보여줍니다.
마지막으로 연구진은 U-Net의 각 계층이 어떤 정보를 처리하는지 탐색했습니다. 그림 9는 잡음 제거 프로세스의 다양한 단계(초기, 중간, 후기)의 결과와 U-Net의 다양한 계층의 인코딩 모델을 보여줍니다. 잡음 제거 프로세스의 초기 단계에서 U-Net의 병목 현상 계층(주황색)은 전체 피질에서 가장 높은 예측 성능을 제공합니다. 그러나 잡음 제거가 진행됨에 따라 U-Net(파란색)의 초기 계층은 초기 시각 피질 내의 활동을 예측하는 반면, 병목 현상 계층은 더 높은 시각 피질에 대한 우수한 예측 능력으로 이동합니다.
자세한 연구 내용은 원본 논문을 확인하세요.
위 내용은 'Stable Diffusion 기술을 이용한 영상 재현, CVPR 학회에서 관련 연구 채택'의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

내 칼럼을 처음 접할 수있는 분들을 위해, 나는 구체화 된 AI, AI 추론, AI의 첨단 획기적인 혁신, AI 교육, AI의 수비, ai re

유럽의 야심 찬 AI 대륙 행동 계획은 EU를 인공 지능의 글로벌 리더로 설립하는 것을 목표로합니다. 핵심 요소는 AI Gigafactories 네트워크를 만드는 것입니다. 각각 약 100,000 개의 고급 AI 칩을 보유하고 있습니다 - Capaci의 4 배

AI 에이전트 애플리케이션에 대한 Microsoft의 통합 접근 방식 : 비즈니스를위한 명확한 승리 새로운 AI 에이전트 기능에 관한 Microsoft의 최근 발표는 명확하고 통합 된 프레젠테이션에 깊은 인상을 받았습니다. 많은 기술 발표와는 달리 TE에서 멍청한 것입니다

Shopify CEO Tobi Lütke의 최근 메모는 AI 숙련도가 모든 직원에 대한 근본적인 기대를 대담하게 선언하여 회사 내에서 중요한 문화적 변화를 표시합니다. 이것은 도망가는 트렌드가 아닙니다. 그것은 p에 통합 된 새로운 운영 패러다임입니다

IBM의 Z17 메인 프레임 : 향상된 비즈니스 운영을 위해 AI를 통합합니다 지난 달, IBM의 뉴욕 본사에서 Z17의 기능을 미리 보았습니다. Z16의 성공을 기반으로 (2022 년에 시작되어 지속적인 수익을 보여주는 시연

흔들리지 않는 자신감을 해제하고 외부 검증의 필요성을 제거하십시오! 이 다섯 개의 chatgpt 프롬프트는 완전한 자립과 자기 인식의 변형적인 변화로 당신을 안내 할 것입니다. 간단히 괄호를 복사, 붙여 넣기 및 사용자 정의하십시오

인공 지능 보안 및 연구 회사 인 Anthropic의 최근 [연구]는 이러한 복잡한 과정에 대한 진실을 밝히기 시작하여 우리 자신의인지 영역과 방해가되는 복잡성을 보여줍니다. 자연 지능과 인공 지능은 우리가 생각하는 것보다 더 유사 할 수 있습니다. 내부 스누핑 : 의인성 해석 가능성 연구 Anthropic이 수행 한 연구에서 얻은 새로운 연구 결과는 AI의 내부 컴퓨팅을 역 엔지니어링하는 것을 목표로하는 기계적 해석 성 분야에서 상당한 발전을 나타냅니다. AI가하는 일을 관찰 할뿐만 아니라 인공 뉴런 수준에서 어떻게 수행하는지 이해합니다. 누군가가 특정한 대상을 보거나 특정한 아이디어에 대해 생각할 때 어떤 뉴런이 발사하는지 그림으로 뇌를 이해하려고한다고 상상해보십시오. 에이

Qualcomm 's Dragonwing : 기업 및 인프라로의 전략적 도약 Qualcomm은 새로운 Dragonwing 브랜드를 통해 전 세계적으로 엔터프라이즈 및 인프라 시장을 대상으로 모바일을 넘어 범위를 적극적으로 확장하고 있습니다. 이것은 단지 Rebran이 아닙니다


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

ZendStudio 13.5.1 맥
강력한 PHP 통합 개발 환경

Atom Editor Mac 버전 다운로드
가장 인기 있는 오픈 소스 편집기

안전한 시험 브라우저
안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

SublimeText3 Linux 새 버전
SublimeText3 Linux 최신 버전

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
