왜 고양이야? 설명 가능한 AI는 의미론적 수준에서 CNN의 인식 메커니즘을 이해합니다.

최근 CNN은 뛰어난 성능으로 컴퓨터 비전, 자연어 처리 등 다양한 분야의 연구자들로부터 호평을 받아왔습니다. 그러나 CNN은 '블랙박스' 모델이다. 즉, 모델의 학습 내용과 의사결정 과정을 인간이 이해할 수 있는 방식으로 추출하고 표현하기 어려워 예측 신뢰성과 실제 적용에 한계가 있다. 따라서 CNN의 해석 가능성은 점점 더 많은 주목을 받고 있습니다. 연구자들은 CNN의 학습 메커니즘을 설명하기 위해 특징 시각화, 네트워크 진단 및 네트워크 아키텍처 조정을 사용하여 이 "블랙박스"를 더 쉽게 만들려고 노력해 왔습니다. 인간은 자신의 의사결정 과정을 이해하고, 감지하고, 개선할 수 있습니다.

최근 북경 대학교, 동부 공과 대학, 남부 과학 기술 대학교, 펑청 연구소 및 기타 기관의 연구팀은 의미론적 설명 가능 AI(S-XAI)에 대한 연구 프레임워크를 제안했습니다. CNN의 학습 메커니즘을 의미론적 수준에서 학습하고, 고양이와 개의 분류 문제를 예로 들어 모델이 고양이의 개념을 카테고리 감각, 즉 "고양이란 무엇인가?"에서 어떻게 학습하는지 생생하게 보여줍니다.

이 연구는 동일한 카테고리의 샘플에서 CNN이 학습한 공통 특징에 중점을 두고 인간이 이해할 수 있는 의미 개념을 추출하여 CNN에 대한 의미 수준의 설명을 제공합니다. 이를 바탕으로 연구에서는 표본 내 의미적 요소의 발생 확률을 특성화하기 위해 "의미적 확률"이라는 개념을 최초로 제안했습니다. 실험에 따르면 S-XAI는 이진 및 다중 분류 작업 모두에서 공통 기능을 성공적으로 추출하고 초현실적이지만 식별 가능한 의미 개념을 추상화할 수 있으며 신뢰성 평가 및 의미 샘플 검색 분야에서 광범위한 응용 가능성을 가지고 있습니다.

이 연구의 제목은 "컨볼루션 신경망에 대한 의미 해석: 고양이를 고양이로 만드는 것은 무엇입니까?"이며 2022년 10월 10일 "Advanced Science"에 게재되었습니다.

문서 링크: https://onlinelibrary.wiley.com/doi/10.1002/advs.202204723

코드 링크: https://github.com/woshixuhao/semantic-explainable -AI

모델 효과

기존의 단일 표본 시각화 연구와 달리 S-XAI는 그룹 표본의 공통 특징을 추출하고 시각화하여 전역적 해석 가능성 을 얻을 수 있습니다. S-XAI는 더욱 추상화된 의미 공간과 계산된 의미 확률을 기반으로 CNN의 결정 논리에 대해 사람이 이해할 수 있는 의미 설명을 자동으로 생성하고 의미 수준에서 결정의 신뢰성을 평가할 수 있습니다.

그림 1에서 볼 수 있듯이 고양이와 개의 두 가지 범주 문제에서 S-XAI는 세 각도에서 동일한 고양이 사진에 대해 해당 의미론적 확률 레이더 차트와 설명 문장을 자동으로 생성합니다. 신경망은 모두 90% 이상의 확률로 이 사진을 고양이로 식별했지만 S-XAI는 이러한 사진 간의 차이를 반영하여 의미론적 확률로부터 더 많은 해석 정보를 제공했습니다. 예를 들어, 정면 이미지에 대해 S-XAI의 설명은 "주로 고양이의 눈과 코가 분명한 생생한 눈과 코를 가지고 있기 때문에 고양이라고 확신합니다. 동시에 실물과 같은 다리를 가지고 있으며, 좀 고양이 다리 같군요." 이 설명은 신빙도가 높다. 측면 각도에서 본 이미지에 대해 S-XAI의 설명은 "주로 눈이 있기 때문에 고양이일 것입니다. 아마도 고양이 눈일 수도 있지만 고양이의 뒤에서 본 이미지는 다리가 조금 혼란스럽습니다." 의미론적 확률은 명백하며 S-XAI의 해석은 "고양이일지도 모르지만 확실하지 않습니다."입니다. 한편, 개 사진에 대한 S-XAI의 해석은 "고양이일 것이라고 확신합니다"입니다. ." 개, 확실히 개와 똑같은 눈과 코 때문에 개입니다. 그러나 다리는 약간 혼란스럽습니다."

사실 이 개는 상체가 가려져 있으면 보기만 해도 다리만 보면 사람도 고양이인지 개인지 구분하기 어려울 정도다. S-XAI가 제공하는 의미론적 설명이 더 정확하고 인간의 인지와 일치하여 인간이 의미론적 수준에서 신경망의 카테고리 인식 논리를 더 잘 이해할 수 있음을 알 수 있습니다.

그림 1. S-XAI가 자동으로 생성한 의미론적 확률 레이더 차트 및 설명 문장

동시에 S-XAI는 의미론적 샘플 검색 분야에서도 광범위한 응용 가능성을 가지고 있습니다. 그림 2에서 볼 수 있듯이 사람들이 많은 수의 사진에서 특정 의미론적 특징을 가진 사진을 필터링해야 할 때 S-XAI는 의미론적 확률을 통해 필터링하는 빠르고 정확한 방법을 제공합니다. 의미론적 확률 계산이 신경망의 순방향 연산(즉, 예측)에만 관련된다는 점을 고려하면 프로세스가 매우 빠릅니다. ㅋㅋㅋ 그림 3에 표시된 것처럼 Mini-ImageNet 데이터 세트(100개의 동물 카테고리 포함)를 예로 들면 S-XAI는 다양한 데이터 카테고리(예: 새, 뱀, 게, 물고기 등)에서 명확하게 식별 가능한 이미지를 추출할 수 있습니다. ) 공통된 특징과 의미 공간을 찾아 대응하는 의미 설명을 생성합니다.

그림 3. 다중 분류 작업에서 S-XAI의 성능.

원리 및 방법 현재 모델 해석성을 향상하기 위한 일반적인 아이디어는 주로 시각화와 모델 개입이라는 두 가지 범주로 나뉩니다. 시각화 방법은 CNN 내부의 특징 맵, 필터 또는 히트 맵을 시각화하여 주어진 샘플에 직면할 때 네트워크가 주의를 기울이는 특징을 이해합니다. 이 방법의 한계는 지역적 해석성을 얻기 위해 단일 표본에서 개별 특징만 추출할 수 있으며, 동일한 유형의 데이터에 직면했을 때 모델의 전반적인 의사 결정 논리를 사람들이 이해하는 데 도움을 줄 수 없다는 것입니다. 모델 개입 방법은 해석 가능성이 높은 기존 모델(예: 트리 모델 등)을 신경망 아키텍처에 통합하여 모델 해석 가능성을 향상시킵니다. 이러한 유형의 방법은 전역적으로 해석할 수 있다는 장점이 있지만 모델을 재교육해야 하는 경우가 많아 해석 비용이 높아 일반화 및 적용에 도움이 되지 않습니다.

S-XAI에서 연구자들은 인간의 인지 패턴에서 영감을 받아

의미론적 수준에서 CNN의 카테고리 학습 메커니즘을 설명

하기 위해 새로운 설명 전략을 채택했습니다(그림 4). 본질적으로 동일한 유형의 객체는 종종 유사한 공통 특성을 가지며, 이는 범주 인식의 중요한 기초를 형성합니다. 예를 들어, 고양이는 모양이 다르지만 모두 몇 가지 공통된 특징(예: 수염, 코, 눈 관련 특징)을 공유하므로 인간은 고양이를 빠르게 고양이로 식별할 수 있습니다. 실험에서 연구자들은 CNN의 카테고리 학습 메커니즘이 인간과 유사하다는 것을 발견했습니다.

그림 4. 의미 해석 가능한 인공 지능 연구 프레임워크

행 중심 샘플 압축이라는 기술을 사용했습니다. 동일한 카테고리가 CNN에서 추출되었습니다. 기존의 주성분 분석과 달리 행 중심 샘플 압축은 샘플 공간의 많은 수의 샘플에서 CNN에서 얻은 특징 맵의 차원을 줄여 소수의 주성분을 CNN이 학습한 공통 특징으로 추출합니다. 추출된 공통 특징을 보다 명확하게 하기 위해 샘플은 간섭을 줄이기 위한 슈퍼픽셀 분할 및 유전자 알고리즘을 통해 최적의 슈퍼픽셀 조합을 찾았습니다. 추출된 공통 기능은 시각적으로 표시됩니다(그림 5).

그림 5. 공통 특징 추출 경로

VGG-19 네트워크 아키텍처의 고양이와 개 이진 분류 문제를 예로 들면, 고양이와 개 카테고리 데이터에서 추출된 다양한 주요 구성 요소가 그림에 표시됩니다. 6 보여주세요. 다양한 주요 구성 요소가 다양한 수준에서 식별 가능한 특징을 나타냄을 그림에서 명확하게 볼 수 있습니다. 첫 번째 주성분은 완전한 얼굴 특징을 나타내고, 두 번째 주성분은 턱수염, 눈, 코 등 산재한 의미 개념을 나타내고, 세 번째 주성분은 주로 털의 특성을 나타냄이 분명합니다. 이러한 주요 구성 요소가 나타내는 특성은 초자연적입니다. 즉, 어떤 표본에도 속하지 않지만 동일한 범주에 있는 모든 표본의 공통 특성을 반영한다는 점을 언급할 가치가 있습니다.

그림 6. 고양이와 개의 카테고리 데이터에서 추출한 다양한 주성분의 시각화 결과

추출된 공통 특징을 바탕으로 연구진은 마스크 처리 비교 샘플의 의미 정보를 분석했습니다. 혼합된 의미 개념을 더욱 분리하기 위한 주성분의 변화를 통해 각 의미 개념에 대응하는 의미 벡터를 추출하고 의미 공간을 추상화한다. 여기에 연구진은 눈, 코 등 인간이 이해하는 의미론적 개념을 활용해 추상화된 의미공간을 시각화했다. 연구진은 의미 공간 추출에 성공한 후, 샘플 내 의미 요소의 발생 확률을 특성화하기 위해 '의미 확률'이라는 개념을 정의하여 CNN의 의미 수준 설명을 위한 정량적 분석 방법을 제공했습니다.

그림 7과 같이 명확하게 식별 가능한 의미 개념(밝은 눈, 작은 코)이 의미 공간에 나타나는데, 이는 CNN에서 의미 공간이 성공적으로 추출되었음을 보여주며, CNN이 카테고리 데이터에서 의미 정보를 추출함을 보여줍니다. 배웠다. 동시에 연구자들은 CNN의 의미론이 인간의 이해와 다소 다르다는 사실을 발견했습니다. CNN이 학습하는 "의미론"은 반드시 인간이 동의하는 "의미론"이 아닐 수도 있습니다. 더 효율적입니다. 예를 들어 연구자들은 고양이의 경우 CNN이 고양이의 코와 수염을 전체 의미론으로 취급하는 경우가 많으며 이것이 더 효과적일 수 있음을 발견했습니다. 동시에 CNN은 의미론 사이의 몇 가지 연관성을 알아냈습니다. 예를 들어 고양이의 눈과 코가 동시에 나타나는 경우가 많습니다.

그림 7. CNN에서 추출한 의미 벡터와 시각화된 의미 공간(상단: 고양이 눈 공간, 하단: 고양이 코 공간)

요약 및 전망

요약하자면, Semantic explainable Artificial 본 연구에서 제안하는 Intelligence(S-XAI)는 공통 특징과 의미 공간을 추출하여 CNN의 카테고리 인식 메커니즘을 의미 수준에서 설명한다. 이 연구 프레임워크는 CNN 아키텍처를 변경하지 않고도 특정 전역 설명 기능을 얻을 수 있습니다. S-XAI는 더 빠른 응답 속도의 장점을 갖고 있으며 신뢰성 평가 및 의미론적 샘플 검색 가능성이 높습니다.

기본적으로 S-XAI는 지식 발견과 유사합니다. 지식 발견은 신경망에서 일반적인 물리 법칙을 반영하는 함수 용어를 찾는 것이 목표인 반면, S-XAI는 CNN에서 샘플의 공통 특성을 반영하는 의미 공간을 찾는 것이 목표이므로 둘 다의 핵심 아이디어는 공통점을 찾아서 표현하는 것입니다. 인간이 이해할 수 있도록 만드는 것이 가능합니다.

위 내용은 왜 고양이야? 설명 가능한 AI는 의미론적 수준에서 CNN의 인식 메커니즘을 이해합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!