- 문서 주소: https://ieeexplore.ieee.org/document/10089190
- 코드 주소: https://github.com/ChangdeDu/BraVL
- 데이터 주소: https://figshare.com/articles/dataset/BraVL/17024591
읽기가 너무 깁니다
이 연구는 여러 가지 방법을 통해 뇌, 시각 및 언어 지식을 결합한 최초의 연구입니다. 모달 학습 방법은 인간의 두뇌 활동 기록에서 새로운 시각적 범주의 제로 샘플 디코딩을 달성합니다. 이 기사는 또한 3개의 "뇌-그림-텍스트" 3개 모달 일치 데이터 세트에 기여합니다.
실험 결과는 몇 가지 흥미로운 결론과 인지적 통찰을 나타냅니다. 1) 인간의 두뇌 활동에서 새로운 시각적 범주를 디코딩하는 것은 높은 정확도로 달성 가능합니다. 2) 시각적 기능과 언어적 특징을 조합하여 디코딩합니다. 3) 시각적 인식은 시각적 자극의 의미를 표현하기 위해 언어적 영향을 동반할 수 있습니다. 이러한 발견은 인간의 시각 시스템에 대한 이해를 밝힐 뿐만 아니라 미래의 뇌-컴퓨터 인터페이스 기술에 대한 새로운 아이디어를 제공합니다. 이 연구의 코드와 데이터 세트는 오픈 소스입니다.
연구 배경
인간의 시각적 신경 표현을 해독하는 것은 시각적 처리 메커니즘을 밝히고 뇌 과학 및 인공 지능의 발전을 촉진할 수 있는 중요한 과학적 중요성을 지닌 과제입니다. 그러나 현재 신경 디코딩 방법은 훈련 데이터 이외의 새로운 범주로 일반화하기 어렵습니다. 두 가지 주요 이유가 있습니다. 하나는 기존 방법이 신경 데이터 뒤에 있는 다중 모드 의미 지식을 완전히 활용하지 못한다는 것입니다. 페어링(자극-뇌 반응) 훈련 데이터를 사용할 수 있습니다.
연구에 따르면 시각적 자극에 대한 인간의 인식과 인지는 시각적 특징과 사람들의 이전 경험에 영향을 받는 것으로 나타났습니다. 예를 들어, 익숙한 물체를 보면 우리의 뇌는 자연스럽게 그 물체와 관련된 지식을 검색합니다. 아래 그림 1에서 볼 수 있듯이, 이중 코딩 이론에 대한 인지 신경과학 연구[9]는 특정 개념이 시각적으로나 언어적으로 뇌에 인코딩되어 있으며, 여기서 언어는 효과적인 사전 경험으로서 시각에 의해 생성된 표상을 형성하는 데 도움이 된다고 믿습니다.
따라서 저자는 기록된 뇌 신호를 더 잘 해독하기 위해서는 실제 제시되는 시각적 의미 특징뿐만 아니라 시각적 대상 객체와 관련된 보다 풍부한 언어 의미 특징의 조합이 필요하다고 믿습니다.
그림 1. 인간 두뇌의 지식 이중 인코딩. 코끼리 사진을 보면 우리는 자연스럽게 코끼리에 관한 지식(긴 몸통, 긴 이빨, 큰 귀 등)을 마음속에 떠올리게 됩니다. 이 시점에서 코끼리의 개념은 시각적으로나 언어적으로 뇌에 암호화되며, 언어는 시각에 의해 생성된 표상을 형성하는 데 도움이 되는 유효한 사전 경험의 역할을 합니다.
아래 그림 2에서 볼 수 있듯이, 다양한 시각적 범주의 인간 두뇌 활동을 수집하는 데는 비용이 매우 많이 들기 때문에 연구자들은 일반적으로 시각적 범주의 매우 제한된 두뇌 활동만을 가지고 있습니다. 그러나 이미지와 텍스트 데이터는 풍부하며 추가적인 유용한 정보를 제공할 수 있습니다. 이 문서의 방법은 모든 유형의 데이터(삼중 모드, 이중 모드 및 단일 모드)를 최대한 활용하여 신경 디코딩의 일반화 능력을 향상시킬 수 있습니다.
그림 2. 이미지 자극, 유도된 뇌 활동 및 해당 텍스트 데이터. 우리는 몇 가지 범주에 대해서만 뇌 활동 데이터를 수집할 수 있지만 이미지 및/또는 텍스트 데이터는 거의 모든 범주에 대해 쉽게 수집할 수 있습니다. 따라서 알려진 범주의 경우 뇌 활동, 시각적 이미지 및 해당 텍스트 설명이 모두 훈련에 사용 가능한 반면, 새로운 범주의 경우 시각적 이미지와 텍스트 설명만 훈련에 사용할 수 있다고 가정합니다. 테스트 데이터는 새로운 카테고리의 뇌 활동 데이터입니다.
"Brain-Picture-Text" 다중 모달 학습
아래 그림 3A에 표시된 것처럼 이 방법의 핵심은 각 양식이 학습한 분포를 공유 잠재 공간에 정렬하는 것입니다. 기본 다중 모달 정보가 포함되어 있습니다. 새로운 카테고리와 관련된
구체적으로 저자는 전문가 제품 혼합(MoPoE)을 사용하는 다중 모드 자동 인코딩 변형 베이지안 학습 프레임워크를 제안합니다. 잠재 인코딩은 모든 항목의 공동 생성이 가능하도록 추론됩니다. 세 가지 방식. 뇌 활동 데이터가 제한적일 때 보다 관련성이 높은 공동 표현을 학습하고 데이터 효율성을 향상시키기 위해 저자는 모달 내 및 모달 간 상호 정보 정규화 용어를 추가로 소개합니다. 또한 BraVL 모델은 다양한 준지도 학습 시나리오에서 훈련되어 대규모 이미지 범주의 추가 시각적 및 텍스트 기능을 통합할 수 있습니다.
그림 3B에서 저자는 새로운 카테고리의 시각적 및 텍스트 특징의 잠재 표현으로부터 SVM 분류기를 훈련 합니다. 이 단계에서는 인코더 E_v 및 E_t가 고정되고 SVM 분류기(회색 모듈)만 최적화된다는 점에 유의해야 합니다.
그림 3C에 표시된 것처럼 애플리케이션에서 이 방법의 입력은 뇌 신호의 새로운 범주일 뿐이며 다른 데이터가 필요하지 않으므로 대부분의 신경 디코딩 시나리오에 쉽게 적용할 수 있습니다. SVM 분류기는 이 세 가지 양식의 기본 표현이 이미 A에 정렬되어 있기 때문에 (B)에서 (C)로 일반화할 수 있습니다.
그림 3 이 기사에서 제안된 "뇌-이미지-텍스트" 3모달 공동 학습 프레임워크는 BraVL이라고 합니다.
또한 동일한 시각적 자극에도 뇌 신호는 시행마다 변경됩니다. 신경 해독의 안정성을 향상시키기 위해 저자는 안정성 선택 방법을 사용하여 fMRI 데이터를 처리했습니다. 모든 복셀의 안정성 점수는 아래 그림 4에 나와 있습니다. 저자는 신경 디코딩 프로세스에 참여하기 위해 안정성이 가장 좋은 복셀 중 상위 15%를 선택했습니다. 이 작업은 뇌 특징의 식별 능력에 심각한 영향을 주지 않으면서 fMRI 데이터의 차원성을 효과적으로 줄이고 시끄러운 복셀로 인한 간섭을 억제할 수 있습니다.
그림 4. 뇌 시각 피질의 복셀 활동 안정성 점수 맵.
기존 신경 인코딩 및 디코딩 데이터세트에는 이미지 자극과 뇌 반응만 있는 경우가 많습니다. 시각적 개념에 해당하는 언어적 설명을 얻기 위해 저자는 반자동 위키피디아 기사 추출 방법을 채택했습니다. 특히 작성자는 먼저 ImageNet 클래스와 해당 Wikipedia 페이지의 자동 일치를 생성합니다. 일치는 ImageNet 클래스의 synset 단어와 Wikipedia 제목 및 해당 상위 범주 간의 유사성을 기반으로 합니다. 아래 그림 5에서 볼 수 있듯이 유사한 이름의 클래스가 매우 다른 개념을 나타낼 수 있기 때문에 이러한 종류의 일치는 때때로 잘못된 긍정을 생성할 수 있습니다. 삼중 데이터 세트를 구성할 때 시각적 특징과 언어적 특징 간의 고품질 일치를 보장하기 위해 저자는 일치하지 않는 기사를 수동으로 삭제했습니다.
그림 5. 반자동 시각적 개념 설명 획득
실험 결과
저자는 여러 "뇌-그림-텍스트" 3모달 매칭 데이터 세트에 대해 광범위한 제로샷 신경 디코딩 실험을 수행했습니다. 실험 결과는 아래 표에 나와 있습니다. 보시다시피, 시각적 기능과 텍스트 기능(V&T)의 조합을 사용하는 모델은 둘 중 하나만 사용하는 모델보다 성능이 훨씬 더 좋습니다. 특히 V&T 기능을 기반으로 하는 BraVL은 두 데이터세트 모두에서 평균 상위 5개 정확도를 크게 향상시킵니다. 이러한 결과는 피험자에게 제시된 자극에는 시각적 정보만 포함되어 있지만 피험자가 무의식적으로 적절한 언어 표현을 호출하여 시각적 처리에 영향을 미칠 수 있음을 시사합니다.
각 시각적 개념 카테고리에 대해 저자는 아래 그림 6과 같이 텍스트 기능을 추가한 후 신경 디코딩 정확도 향상도 보여줍니다. 대부분의 테스트 클래스에서 텍스트 기능을 추가하면 평균 Top-1 디코딩 정확도가 약 6% 증가하는 등 긍정적인 영향을 미치는 것을 볼 수 있습니다.
그림 6. 텍스트 기능을 추가한 후 신경 디코딩 정확도 향상
저자는 신경 디코딩 분석 외에도 텍스트 기능을 복셀 수준 신경 측면에서 분석했습니다. 인코딩 기여(시각적 또는 텍스트 특징을 기반으로 해당 뇌 복셀 활동 예측), 결과는 그림 7에 나와 있습니다. 대부분의 상위 수준 시각 피질(FFA, LOC 및 IT와 같은 HVC)의 경우 시각적 특징을 기반으로 텍스트 특징을 융합하면 뇌 활동의 예측 정확도가 향상될 수 있지만 대부분의 하위 시각 피질에서는 뇌 활동 예측 정확도가 향상될 수 있음을 알 수 있습니다. (V1, V2, V3 등의 LVC) 텍스트 기능을 융합하는 것은 유익하지도 해롭지도 않습니다.
인지 신경과학의 관점에서 본 결과는 타당합니다. 일반적으로 HVC는 객체의 카테고리 정보, 모션 정보 등 상위 수준의 의미 정보를 처리하는 반면, LVC는 처리 방향, 윤곽선 등 기본 정보. 또한, 최근 신경과학적 연구에서는 시각 및 언어적 의미 표현이 인간 시각 피질의 경계에서 정렬된다는 사실이 밝혀졌으며(즉, "의미 정렬 가설")[10], 저자의 실험 결과도 이 가설을 뒷받침합니다
그림 7. 시각 피질에 대한 텍스트 특징 기여 예측
더 많은 실험 결과를 보려면 원본 텍스트를 참조하세요.
전반적으로, 이 논문은 몇 가지 흥미로운 결론과 인지적 통찰력을 이끌어냅니다. 1) 인간의 두뇌 활동에서 새로운 시각적 범주를 해독하는 것은 높은 정확도로 달성 가능합니다. 2) 시각적 기능과 언어적 특징의 조합을 사용하여 더 높은 신경 해독을 갖습니다. 5) 단일 양식과 이중 양식의 추가 데이터는 디코딩 정확도를 크게 향상시킬 수 있습니다.
논의 및 전망
논문의 제1저자이자 중국과학원 자동화 연구소의 특별 연구 조교인 Du Changde는 다음과 같이 말했습니다. "이 연구는 뇌 활동, 시각적 이미지 및 텍스트 설명에서 추출된 특징이 그러나 추출된 시각적 특징은 인간의 시각적 처리의 모든 단계를 정확하게 반영하지 못할 수 있으며, 더 나은 기능 세트는 이러한 작업에 도움이 될 것입니다(예: GPT). -3) 더 나은 제로샷 일반화 기능을 사용하여 텍스트 특징을 추출할 수 있습니다. 또한 Wikipedia 기사에는 풍부한 시각적 정보가 포함되어 있지만 시각적 문장 추출이나 사용을 통해 많은 수의 비시각적 문장으로 인해 이 정보가 쉽게 모호해집니다. ChatGPT 및 GPT-4. 다른 모델을 통해 보다 정확하고 풍부한 시각적 설명을 수집하면 이 문제를 해결할 수 있습니다. . 이러한 측면은 향후 연구로 남겨둡니다.”
논문의 교신 저자이자 중국과학원 자동화 연구소의 He Huiguang 연구원은 다음과 같이 지적했습니다. "이 기사에서 제안된 방법은 세 가지 잠재적인 응용 분야가 있습니다. 1) 신경 의미 해독 도구로서 이 방법이 사용될 것입니다. 인간의 뇌에서 의미 정보를 읽는 새로운 신경 보철 장치에서 이 응용 프로그램은 아직 성숙되지 않았지만 이 문서의 방법은 여러 양식에 걸쳐 뇌 활동을 추론함으로써 이에 대한 기술적 기반을 제공합니다. 이 기사의 방법은 시각 및 언어 기능이 인간 대뇌 피질에서 어떻게 표현되는지 연구하기 위한 신경 코딩 도구로 사용될 수도 있으며, 이는 어떤 뇌 영역이 다중 모드 속성(예: 시각 및 언어 기능에 민감함)을 갖는지 밝혀줍니다. 3) AI 모델의 내부 표현에 대한 신경 해독성은 모델의 뇌와 유사한 수준의 지표로 간주될 수 있습니다. 따라서 본 논문의 방법은 어떤 모델이 뇌와 유사한 속성을 평가하는 도구로도 사용될 수 있습니다. (시각적 또는 언어적) 표현은 인간의 뇌 활동에 더 가깝기 때문에 연구자들이 더욱 뇌와 유사한 계산 모델을 설계하도록 동기를 부여합니다."
신경 정보 인코딩 및 디코딩은 뇌-컴퓨터 인터페이스 분야의 핵심 문제입니다. 또한 인간 두뇌의 복잡한 기능 뒤에 있는 원리를 탐구하고 두뇌와 유사한 지능의 발달을 촉진하는 효과적인 방법입니다. 자동화 연구소의 신경 컴퓨팅 및 뇌-컴퓨터 상호 작용 연구팀은 이 분야에서 수년간 연구해 왔으며 일련의 연구 작품을 만들어 TPAMI 2023, TMI2023, TNNLS 2022/2019, TMM 2021, 정보 Fusion 2021, AAAI 2020 등 예비 작업은 MIT Technology Review의 헤드라인에 보도되었으며 ICME 2019 최우수 논문 준우승상을 수상했습니다.
이 연구는 과학기술혁신 2030 - "차세대 인공지능" 주요 프로젝트, 국가재단 프로젝트, 자동화 연구소 2035 프로젝트, 중국 인공지능학회-화웨이 MindSpore 학술상 기금의 지원을 받아 진행되었습니다. 지능형 베이스 프로젝트.
저자소개
제1저자: Du Changde는 중국과학원 자동화연구소의 특별연구조교로 뇌인지 및 인공지능에 관한 연구에 종사하고 있으며, 시각 신경정보 인코딩 및 디코딩, 다중 모드 신경 컴퓨팅 등 TPAMI/TNNNLS/AAAI/KDD/ACMMM 등을 포함한 40개 이상의 기사 그는 2019년 IEEE ICME 최우수 논문 준우승상과 2021년 100대 중국 AI 떠오르는 스타를 수상했습니다. 그는 과학기술부, 국가과학기술재단, 중국과학원에서 다수의 과학 연구 과제를 연속적으로 수행했으며, 그의 연구 결과는 MIT Technology Review의 헤드라인에 보도되었습니다.
개인 홈페이지: https://changdedu.github.io/
교신저자: He Huiguang, 중국과학원 자동화 연구소 연구원, 박사 지도교수, 중국과학원대학, 상하이과기대학 명예교수, 중국과학원 청년촉진협회 우수회원, 중화인민공화국 건국 70주년 기념메달 수상자 . 그는 국가자연기금 프로젝트 7개(핵심 기금 및 국제 협력 프로젝트 포함), 2,863개 프로젝트, 국가 핵심 연구 계획 프로젝트를 연속적으로 수행했습니다. 그는 2급 국가 과학기술 진보상(각각 2위와 3위), 베이징 과학기술 진보상 2개, 교육부 1급 과학기술 진보상, 제1회 우수 박사 논문상을 수상했습니다. 중국과학원, 베이징 과학기술 라이징 스타, 중국과학원 "Lu Jiaxi Young Talent Award" 및 복건성 "Minjiang Scholar" 석좌교수. 연구분야는 인공지능, 뇌-컴퓨터 인터페이스, 의료영상분석 등이다. 지난 5년 동안 그는 IEEE TPAMI/TNNLS 및 ICML과 같은 저널 및 컨퍼런스에 80개 이상의 기사를 게재했습니다. 그는 IEEE TCDS, Journal of Automation 및 기타 저널의 편집위원이자 CCF의 우수 회원이자 CSIG의 우수 회원입니다.
위 내용은 자동화 연구소에서 개발한 비침습적 다중 모드 학습 모델로 뇌 신호 디코딩 및 의미 분석 실현의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

"AI-Ready Workforce"라는 용어는 자주 사용되지만 공급망 산업에서 실제로 무엇을 의미합니까? ASCM (Association for Supply Chain Management)의 CEO 인 Abe Eshkenazi에 따르면 비평가가 가능한 전문가를 의미합니다.

분산 된 AI 혁명은 조용히 운동량을 얻고 있습니다. 이번 주 금요일 텍사스 오스틴에서 Bittensor Endgame Summit은 중추적 인 순간을 표시하여 분산 된 AI (DEAI)를 이론에서 실제 적용으로 전환합니다. 화려한 광고와 달리

Enterprise AI는 데이터 통합 문제에 직면 해 있습니다 Enterprise AI의 적용은 비즈니스 데이터를 지속적으로 학습함으로써 정확성과 실용성을 유지할 수있는 시스템을 구축하는 주요 과제에 직면 해 있습니다. NEMO 마이크로 서비스는 NVIDIA가 "데이터 플라이휠"으로 묘사 한 내용을 작성 하여이 문제를 해결하여 AI 시스템이 엔터프라이즈 정보 및 사용자 상호 작용에 지속적으로 노출되어 관련성을 유지할 수 있도록합니다. 새로 출시 된이 툴킷에는 5 개의 주요 마이크로 서비스가 포함되어 있습니다. NEMO Customizer는 더 높은 교육 처리량으로 대형 언어 모델의 미세 조정을 처리합니다. NEMO 평가자는 사용자 지정 벤치 마크에 대한 AI 모델의 단순화 된 평가를 제공합니다. Nemo Guardrails는 보안 제어를 구현하여 규정 준수 및 적절성을 유지합니다.

AI : 예술과 디자인의 미래 인공 지능 (AI)은 전례없는 방식으로 예술 및 디자인 분야를 변화시키고 있으며, 그 영향은 더 이상 아마추어에게만 국한되지 않고 전문가에게 더 큰 영향을 미칩니다. AI에 의해 생성 된 아트 워크 및 디자인 체계는 광고, 소셜 미디어 이미지 생성 및 웹 디자인과 같은 많은 트랜잭션 디자인 활동에서 전통적인 재료 이미지 및 디자이너를 빠르게 대체하고 있습니다. 그러나 전문 예술가와 디자이너는 AI의 실질적인 가치도 찾습니다. 그들은 AI를 보조 도구로 사용하여 새로운 미적 가능성을 탐색하고 다양한 스타일을 혼합하며 새로운 시각 효과를 만듭니다. AI는 아티스트와 디자이너가 반복적 인 작업을 자동화하고 다양한 디자인 요소를 제안하며 창의적인 입력을 제공하도록 도와줍니다. AI는 스타일 전송을 지원하며 이미지 스타일을 적용합니다.

처음에는 화상 회의 플랫폼으로 유명한 Zoom은 에이전트 AI의 혁신적인 사용으로 직장 혁명을 이끌고 있습니다. Zoom의 CTO 인 XD Huang과의 최근 대화는 회사의 야심 찬 비전을 공개했습니다. 에이전트 AI 정의 Huang d

AI가 교육에 혁명을 일으킬까요? 이 질문은 교육자와 이해 관계자들 사이에서 심각한 반영을 촉구하고 있습니다. AI를 교육에 통합하면 기회와 도전이 모두 나타납니다. Tech Edvocate의 Matthew Lynch로서 Universit

미국의 과학 연구 및 기술의 발전은 아마도 예산 삭감으로 인해 어려움에 직면 할 수 있습니다. Nature에 따르면, 해외 일자리를 신청하는 미국 과학자의 수는 2024 년 같은 기간에 비해 2025 년 1 월부터 3 월까지 32% 증가했습니다. 이전 여론 조사에 따르면 설문 조사에 참여한 연구원의 75%가 유럽과 캐나다에서 일자리 검색을 고려하고 있음을 보여주었습니다. 지난 몇 개월 동안 수백 개의 NIH와 NSF 보조금이 종료되었으며, NIH의 새로운 보조금은 올해 약 23 억 달러로 줄어 듭니다. 유출 된 예산 제안에 따르면 트럼프 행정부는 과학 기관의 예산을 급격히 줄이는 것을 고려하고 있으며 최대 50%감소 할 수 있습니다. 기본 연구 분야의 혼란은 또한 미국의 주요 장점 중 하나 인 해외 인재 유치에 영향을 미쳤습니다. 35

Openai는 강력한 GPT-4.1 시리즈를 공개합니다. 실제 응용 프로그램을 위해 설계된 3 개의 고급 언어 모델 패밀리. 이 중요한 도약 전진


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

에디트플러스 중국어 크랙 버전
작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

Atom Editor Mac 버전 다운로드
가장 인기 있는 오픈 소스 편집기

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

드림위버 CS6
시각적 웹 개발 도구

SecList
SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.
