찾다
기술 주변기기일체 포함중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

​컴퓨터 비전의 네트워크 구조가 또 다른 혁신을 맞이하게 될까요?

컨벌루션 신경망부터 주의 메커니즘을 갖춘 시각적 변환기까지 신경망 모델은 입력 이미지를 그리드 또는 패치 시퀀스로 처리하지만 이 방법은 변화하거나 복잡한 개체를 캡처할 수 없습니다.

예를 들어, 사람들은 그림을 관찰할 때 자연스럽게 전체 그림을 여러 개체로 나누고 개체 간의 공간적 및 기타 위치 관계를 설정합니다. 즉, 전체 그림은 실제로 인간의 뇌에 대한 것입니다. 그려지고 개체는 그래프의 노드입니다.

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

최근 중국과학원 소프트웨어 연구소, 화웨이 노아의 방주 연구소, 북경대학교, 마카오대학교 연구진이 공동으로 새로운 모델 아키텍처 Vision GNN(ViG)을 제안했습니다. 이미지 기능의 그래프 수준은 비전 작업에 사용됩니다.

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

페이퍼 링크: https://arxiv.org/pdf/2206.00272.pdf

먼저 이미지를 그래프의 노드로 여러 패치로 나누고, 가장 가까운 이웃 패치를 연결하여 그래프를 구축해야 합니다. , ViG 모델을 사용하여 전체 그래프의 모든 노드 정보를 변환하고 교환합니다.

ViG는 두 개의 기본 모듈로 구성됩니다. Grapher 모듈은 그래프 컨볼루션을 사용하여 그래프 정보를 집계하고 업데이트하며 FFN 모듈은 두 개의 선형 레이어를 사용하여 노드 기능을 변환합니다.

이미지 인식 및 객체 감지 작업에 대한 실험에서도 ViG 아키텍처의 우수성이 입증되었습니다. 일반 비전 작업에 대한 GNN의 선구적인 연구는 향후 연구에 유용한 영감과 경험을 제공할 것입니다.

논문의 저자는 중국과학원 소프트웨어연구소 박사과정 지도교수이자 마카오대학교 명예교수인 Wu Enhua 교수입니다. 1970년, 1980년 영국 맨체스터대학교 컴퓨터공학과에서 박사학위를 취득했습니다. 주요 연구 분야는 가상 현실, 실사 그래픽 생성, 물리 기반 시뮬레이션 및 실시간 컴퓨팅, 물리 기반 모델링 및 렌더링, 이미지 및 비디오 처리 및 모델링, 비주얼 컴퓨팅 및 기계 연구를 포함한 컴퓨터 그래픽 및 가상 현실입니다.

Visual GNN

네트워크 구조는 종종 성능 향상에 가장 중요한 요소입니다. 데이터의 양과 품질이 보장되는 한 모델을 CNN에서 ViT로 변경하면 더 나은 성능의 모델을 얻을 수 있습니다.

그러나 네트워크마다 입력 이미지를 다르게 처리합니다. CNN은 이미지 창을 슬라이드하고 번역 불변성 및 로컬 기능을 도입합니다.

ViT 및 MLP(다층 퍼셉트론)는 이미지를 패치 시퀀스로 변환합니다. 예를 들어 224×224 이미지를 여러 개의 16×16 패치로 나누고 마지막으로 길이가 196인 입력 시퀀스를 형성합니다.

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

그래프 신경망은 더 유연합니다. 예를 들어 컴퓨터 비전에서 기본 작업은 이미지에서 개체를 식별하는 것입니다. 객체는 일반적으로 사각형이 아니며 불규칙한 모양을 가질 수 있기 때문에 ResNet 및 ViT와 같은 이전 네트워크에서 일반적으로 사용되는 그리드 또는 시퀀스 구조는 중복되고 유연하지 않아 처리할 수 없습니다.

물체는 여러 부분으로 구성되어 있다고 볼 수 있습니다. 예를 들어 사람은 크게 머리, 상체, 팔, 다리로 나눌 수 있습니다.

이러한 부분들이 관절로 연결되어 자연스럽게 그래픽 구조를 형성하게 된 것을 도식을 분석하여 최종적으로는 그 물체가 사람일 수도 있다는 것을 확인할 수 있었습니다.

그리고 그래프는 일반적인 데이터 구조이고, 그리드와 시퀀스는 그래프의 특수한 경우라고 볼 수 있습니다. 이미지를 그래프로 생각하는 것이 시각적 인식에 더 유연하고 효율적입니다.

그래프 구조를 사용하려면 입력 이미지를 여러 패치로 나누고 각 패치를 노드로 처리해야 합니다. 각 픽셀을 노드로 처리하면 그래프에 노드가 너무 많아집니다(>10K).

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

그래프를 구축한 후 먼저 그래프 GCN(Convolutional Neural Network)을 통해 인접 노드 간의 특징을 집계하고 이미지의 표현을 추출합니다.

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

GCN이 보다 다양한 특징을 얻을 수 있도록 저자는 다중 헤드 연산을 그래프 컨볼루션에 적용합니다. 집계된 특징은 서로 다른 가중치를 가진 헤드로 업데이트되고 최종적으로 이미지 표현에 계단식으로 적용됩니다.

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

이전 GCN은 일반적으로 그래프 데이터의 집계 특징을 추출하기 위해 여러 그래프 컨볼루셔널 레이어를 재사용했지만, Deep GCN의 과도한 스무딩 현상은 노드 특징의 고유성을 감소시켜 시각적 인식 성능을 저하시킵니다.

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

이 문제를 완화하기 위해 연구원들은 ViG 블록에 더 많은 특징 변환과 비선형 활성화 기능을 도입했습니다.

먼저 그래프 컨볼루션 전후에 선형 레이어를 적용하여 노드 기능을 동일한 도메인에 투영하고 기능 다양성을 높입니다. 레이어 붕괴를 방지하기 위해 그래프 컨볼루션 후에 비선형 활성화 함수를 삽입합니다.

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

특징 변환 능력을 더욱 향상시키고 오버 스무딩 현상을 완화하기 위해서는 각 노드에서 FFN(Feedforward Network)을 활용하는 것도 필요합니다. FFN 모듈은 두 개의 완전히 연결된 레이어가 있는 간단한 다층 퍼셉트론입니다.

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

Grapher 및 FFN 모듈에서는 각 완전 연결 레이어 또는 그래프 컨볼루션 레이어 이후에 배치 정규화가 수행됩니다. Grapher 모듈과 FFN 모듈의 스택은 ViG 블록을 구성하며, 이는 ViG 블록을 구성하는 기본 단위이기도 합니다. 대규모 네트워크.

원래 ResGCN과 비교하여 새롭게 제안된 ViG는 특징의 다양성을 유지할 수 있으며, 더 많은 레이어가 추가될수록 네트워크는 더 강력한 표현을 학습할 수도 있습니다.

컴퓨터 비전 네트워크 아키텍처에서 일반적으로 사용되는 Transformer 모델은 일반적으로 등방성 구조(예: ViT)를 갖는 반면 CNN은 피라미드 구조(예: ResNet)를 선호합니다.

다른 유형의 신경망과 비교하기 위해 연구원들은 ViG에 대해 등방성과 피라미드라는 두 가지 네트워크 아키텍처를 설정했습니다.

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

실험 비교 단계에서 연구원들은 이미지 분류 작업에서 1000개 카테고리, 120M 훈련 이미지 및 50K 검증 이미지가 포함된 ImageNet ILSVRC 2012 데이터 세트를 선택했습니다.

표적 탐지 작업에서는 118k 훈련 이미지와 5000개의 검증 세트 이미지를 포함하여 80개의 목표 범주로 구성된 COCO 2017 데이터 세트가 선택되었습니다.

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

등방성 ViG 아키텍처에서는 주요 계산 프로세스 중에 형상 크기를 변경하지 않고 유지할 수 있으므로 확장이 쉽고 하드웨어 가속에 적합합니다. 기존 등방성 CNN, Transformer, MLP와 비교해 보면 ViG가 다른 유형의 네트워크보다 성능이 더 우수하다는 것을 알 수 있습니다. 이 중 ViG-Ti는 DeiT-Ti 모델보다 1.7% 높은 73.9%의 Top-1 정확도를 달성했으며, 계산 비용은 비슷합니다.

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

피라미드 구조의 ViG에서는 네트워크가 깊어질수록 특징 맵의 공간적 크기가 점차 줄어들고, 이미지의 스케일 불변 특성을 사용하여 동시에 다중 규모 특징을 생성합니다.

대부분의 고성능 네트워크는 ResNet, Swin Transformer 및 CycleMLP와 같은 피라미드 구조를 사용합니다. Pyramid ViG를 이러한 대표적인 피라미드 네트워크와 비교한 결과, Pyramid ViG 시리즈는 CNN, MLP, Transformer를 포함한 최첨단 피라미드 네트워크를 능가하거나 경쟁할 수 있음을 알 수 있습니다.

결과는 그래프 신경망이 시각적 작업을 잘 수행할 수 있으며 컴퓨터 비전 시스템의 기본 구성 요소가 될 수 있음을 보여줍니다.

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

ViG 모델의 작업 흐름을 더 잘 이해하기 위해 연구원들은 ViG-S에 구축된 그래프 구조를 시각화했습니다. 서로 다른 두 깊이의 샘플 플롯(블록 1 및 12). 오각형은 중심 노드이고 같은 색상의 노드는 이웃 노드입니다. 모든 가장자리를 그리면 어수선해 보이기 때문에 두 개의 중앙 노드만 시각화됩니다.

중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?

ViG 모델은 콘텐츠 관련 노드를 1차 이웃으로 선택할 수 있음을 관찰할 수 있습니다. 얕은 수준에서는 색상 및 질감과 같은 낮은 수준 및 로컬 기능을 기반으로 이웃 노드가 선택되는 경우가 많습니다. 깊은 수준에서 중앙 노드의 이웃은 더 의미론적이며 동일한 범주에 속합니다. ViG 네트워크는 콘텐츠와 의미 표현을 통해 노드를 점진적으로 연결하여 개체를 더 잘 식별하는 데 도움을 줍니다.

위 내용은 중국과학원소프트웨어가 성능 면에서 ViT를 능가하는 새로운 CV 모델 ViG를 출시했다. 과연 미래에는 그래프 신경망의 대표자가 될 수 있을까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
AI 기술 격차는 공급망을 늦추고 있습니다AI 기술 격차는 공급망을 늦추고 있습니다Apr 26, 2025 am 11:13 AM

"AI-Ready Workforce"라는 용어는 자주 사용되지만 공급망 산업에서 실제로 무엇을 의미합니까? ASCM (Association for Supply Chain Management)의 CEO 인 Abe Eshkenazi에 따르면 비평가가 가능한 전문가를 의미합니다.

한 회사가 AI를 영원히 변화시키기 위해 조용히 노력하는 방법한 회사가 AI를 영원히 변화시키기 위해 조용히 노력하는 방법Apr 26, 2025 am 11:12 AM

분산 된 AI 혁명은 조용히 운동량을 얻고 있습니다. 이번 주 금요일 텍사스 오스틴에서 Bittensor Endgame Summit은 중추적 인 순간을 표시하여 분산 된 AI (DEAI)를 이론에서 실제 적용으로 전환합니다. 화려한 광고와 달리

NVIDIA는 NEMO 마이크로 서비스를 방출하여 AI 에이전트 개발을 간소화합니다NVIDIA는 NEMO 마이크로 서비스를 방출하여 AI 에이전트 개발을 간소화합니다Apr 26, 2025 am 11:11 AM

Enterprise AI는 데이터 통합 ​​문제에 직면 해 있습니다 Enterprise AI의 적용은 비즈니스 데이터를 지속적으로 학습함으로써 정확성과 실용성을 유지할 수있는 시스템을 구축하는 주요 과제에 직면 해 있습니다. NEMO 마이크로 서비스는 NVIDIA가 "데이터 플라이휠"으로 묘사 한 내용을 작성 하여이 문제를 해결하여 AI 시스템이 엔터프라이즈 정보 및 사용자 상호 작용에 지속적으로 노출되어 관련성을 유지할 수 있도록합니다. 새로 출시 된이 툴킷에는 5 개의 주요 마이크로 서비스가 포함되어 있습니다. NEMO Customizer는 더 높은 교육 처리량으로 대형 언어 모델의 미세 조정을 처리합니다. NEMO 평가자는 사용자 지정 벤치 마크에 대한 AI 모델의 단순화 된 평가를 제공합니다. Nemo Guardrails는 보안 제어를 구현하여 규정 준수 및 적절성을 유지합니다.

AI는 미래의 미래와 디자인을위한 새로운 그림을 그립니다.AI는 미래의 미래와 디자인을위한 새로운 그림을 그립니다.Apr 26, 2025 am 11:10 AM

AI : 예술과 디자인의 미래 인공 지능 (AI)은 전례없는 방식으로 예술 및 디자인 분야를 변화시키고 있으며, 그 영향은 더 이상 아마추어에게만 국한되지 않고 전문가에게 더 큰 영향을 미칩니다. AI에 의해 생성 된 아트 워크 및 디자인 체계는 광고, 소셜 미디어 이미지 생성 및 웹 디자인과 같은 많은 트랜잭션 디자인 활동에서 전통적인 재료 이미지 및 디자이너를 빠르게 대체하고 있습니다. 그러나 전문 예술가와 디자이너는 AI의 실질적인 가치도 찾습니다. 그들은 AI를 보조 도구로 사용하여 새로운 미적 가능성을 탐색하고 다양한 스타일을 혼합하며 새로운 시각 효과를 만듭니다. AI는 아티스트와 디자이너가 반복적 인 작업을 자동화하고 다양한 디자인 요소를 제안하며 창의적인 입력을 제공하도록 도와줍니다. AI는 스타일 전송을 지원하며 이미지 스타일을 적용합니다.

에이전트 AI와의 작업을 혁신하는 방법 : 회의에서 이정표까지에이전트 AI와의 작업을 혁신하는 방법 : 회의에서 이정표까지Apr 26, 2025 am 11:09 AM

처음에는 화상 회의 플랫폼으로 유명한 Zoom은 에이전트 AI의 혁신적인 사용으로 직장 혁명을 이끌고 있습니다. Zoom의 CTO 인 XD Huang과의 최근 대화는 회사의 야심 찬 비전을 공개했습니다. 에이전트 AI 정의 Huang d

대학에 대한 실존 적 위협대학에 대한 실존 적 위협Apr 26, 2025 am 11:08 AM

AI가 교육에 혁명을 일으킬까요? 이 질문은 교육자와 이해 관계자들 사이에서 심각한 반영을 촉구하고 있습니다. AI를 교육에 통합하면 기회와 도전이 모두 나타납니다. Tech Edvocate의 Matthew Lynch로서 Universit

프로토 타입 : 미국 과학자들은 해외에서 일자리를 찾고 있습니다프로토 타입 : 미국 과학자들은 해외에서 일자리를 찾고 있습니다Apr 26, 2025 am 11:07 AM

미국의 과학 연구 및 기술의 발전은 아마도 예산 삭감으로 인해 어려움에 직면 할 수 있습니다. Nature에 따르면, 해외 일자리를 신청하는 미국 과학자의 수는 2024 년 같은 기간에 비해 2025 년 1 월부터 3 월까지 32% 증가했습니다. 이전 여론 조사에 따르면 설문 조사에 참여한 연구원의 75%가 유럽과 캐나다에서 일자리 검색을 고려하고 있음을 보여주었습니다. 지난 몇 개월 동안 수백 개의 NIH와 NSF 보조금이 종료되었으며, NIH의 새로운 보조금은 올해 약 23 억 달러로 줄어 듭니다. 유출 된 예산 제안에 따르면 트럼프 행정부는 과학 기관의 예산을 급격히 줄이는 것을 고려하고 있으며 최대 50%감소 할 수 있습니다. 기본 연구 분야의 혼란은 또한 미국의 주요 장점 중 하나 인 해외 인재 유치에 영향을 미쳤습니다. 35

Open AI의 최신 GPT 4.1 가족 - 분석 Vidhya에 관한 모든 것Open AI의 최신 GPT 4.1 가족 - 분석 Vidhya에 관한 모든 것Apr 26, 2025 am 10:19 AM

Openai는 강력한 GPT-4.1 시리즈를 공개합니다. 실제 응용 프로그램을 위해 설계된 3 개의 고급 언어 모델 패밀리. 이 중요한 도약 전진

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

맨티스BT

맨티스BT

Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

mPDF

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

MinGW - Windows용 미니멀리스트 GNU

MinGW - Windows용 미니멀리스트 GNU

이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.