Nanyang Polytechnic은 전체 장면 그래프에서 PSG를 생성하고 픽셀 수준에서 개체를 찾고 56개의 관계를 예측하는 작업을 제안했습니다.

벌써 2022년이 되었지만, 현재 대부분의 컴퓨터 비전 작업은 여전히 ​​이미지 인식에만 초점을 맞추고 있습니다. 예를 들어, 이미지 분류 작업에서는 모델이 이미지의 객체 카테고리를 식별하기만 하면 됩니다. 표적 탐지 및 이미지 분할과 같은 작업에는 물체의 위치를 ​​찾는 것이 추가로 필요하지만 이러한 작업만으로는 모델이 장면에 대한 포괄적이고 심층적인 이해를 얻었음을 입증하기에는 아직 충분하지 않습니다.

아래 그림 1을 예로 들어보겠습니다. 컴퓨터 비전 모델이 사진에서 사람, 코끼리, 울타리, 나무 등만 감지하는 경우 일반적으로 모델이 사진을 이해하지 못했다고 생각합니다. 이해를 바탕으로 결정을 내립니다. 예를 들어 "먹이 금지" 경고를 발행하는 것입니다.

그림 1: 원본 예제 다이어그램

실제로 스마트 도시, 자율 주행, 스마트 제조 등 많은 실제 AI 시나리오에서는 현장에 대상을 배치하는 것 외에도 또한 우리는 일반적으로 모델이 이미지 속 피사체 간의 관계를 추론하고 예측할 것으로 기대합니다. 예를 들어, 자율주행 애플리케이션에서 자율주행차는 길가의 보행자가 카트를 밀고 있는지, 자전거를 타고 있는지 분석해야 합니다. 상황에 따라 해당 후속 결정이 다를 수 있습니다.

스마트 팩토리 시나리오에서 운영자가 안전하고 정확하게 작업하고 있는지 판단하려면 모니터링 측의 모델에도 주체 간의 관계를 이해할 수 있는 능력이 필요합니다. 대부분의 기존 방법은 일부 하드 코딩된 규칙을 수동으로 설정합니다. 이로 인해 모델에 일반화가 부족하고 다른 특정 상황에 적응하기가 어렵습니다.

장면 그래프 생성 작업(장면 그래프 생성 또는 SGG)은 위의 문제를 해결하기 위해 설계되었습니다. SGG 작업에는 대상 개체를 분류하고 찾기 위한 요구 사항 외에도 개체 간의 관계를 예측하는 모델이 필요합니다(그림 2 참조).

그림 2: 장면 그래프 생성

기존 장면 그래프 생성 작업을 위한 데이터 세트에는 일반적으로 객체에 대한 경계 상자 주석과 경계 상자 간의 관계에 대한 주석이 있습니다. 그러나 이 설정에는 몇 가지 고유한 결함이 있습니다.

(1) 경계 상자는 개체를 정확하게 찾을 수 없습니다. 그림 2에서 볼 수 있듯이 경계 상자에는 사람에게 주석을 달 때 필연적으로 사람 주변의 개체가 포함됩니다. 주석을 달 수 없음: 그림 2와 같이 코끼리 뒤에 있는 나무는 경계 상자로 표시되어 이미지 전체를 거의 덮으므로 배경과 관련된 관계를 정확하게 주석을 달 수 없으며 이로 인해 장면 그래프가 완전히 덮을 수도 없습니다. 이미지, 포괄적인 장면 이해를 얻을 수 없습니다.

따라서 저자는 정교하게 주석이 달린 대규모 PSG 데이터 세트를 사용하여 전체 장면 그래프 생성(PSG) 작업을 제안합니다.

그림 3: 전체 장면 그래프 생성

그림 3과 같이 이 작업은 파노라마 분할을 활용하여 객체와 배경을 포괄적이고 정확하게 위치를 파악함으로써 장면 그래프 생성 작업의 본질적인 단점을 해결하여 발전합니다. 현장을 포괄적이고 심층적으로 이해하는 방향으로 나아가세요. 논문 정보

논문 링크: https://arxiv.org/abs/2207.11247프로젝트 페이지: https://psgdataset.org/OpenPSG 코드베이스: https://github.com/Jingkang50/ OpenPSG대회 링크: https://www.cvmart.net/race/10349/baseECCV'22 SenseHuman 워크샵 링크: https://sense-human.github.io/HuggingFace 데모 링크: https://huggingface.co/spaces/ ECCV2022/PSG

저자가 제안한 PSG 데이터 세트에는 약 50,000장의 Coco 이미지가 포함되어 있으며, Coco의 기존 파노라마 분할 주석을 기반으로 분할된 블록 간의 관계에 주석이 추가됩니다. 저자는 위치 관계(위, 앞 등), 사물 간의 공통 관계(매달리기 등), 일반적인 생물학적 행위(걷기, 위에 서기 등), 인간의 관계 등 56가지 관계를 세심하게 정의한다. 행동(요리 등), 교통 장면의 관계(운전, 라이딩 등), 모션 장면의 관계(발로 차기 등), 배경 간의 관계(에워싸기 등). 저자는 어노테이션 작성자에게 모호한 표현보다는 보다 정확한 동사 표현을 사용하고 다이어그램의 관계에 최대한 주석을 달 것을 요구합니다.

PSG 모델 효과 표시

작업 장점

저자는 아래 예를 통해 PSG(전체 장면 그래프 생성) 작업의 장점을 다시 한 번 이해합니다.

왼쪽 그림은 SGG 작업을 위한 전통적인 데이터 세트인 Visual Genome(VG-150)에서 가져온 것입니다. 감지 상자를 기반으로 한 주석은 일반적으로 부정확하며 감지 상자로 덮인 픽셀은 객체, 특히 의자나 나무와 같은 배경을 정확하게 찾을 수 없음을 알 수 있습니다. 동시에, 탐지 프레임을 기반으로 한 관계 주석은 일반적으로 "사람은 머리가 있다", "사람은 옷을 입는다"와 같은 지루한 관계에 라벨을 붙이는 경향이 있습니다.

반면, 오른쪽 그림에서 제안된 PSG 작업은 보다 포괄적(전경과 배경의 상호 작용 포함), 보다 명확하고(적절한 객체 세분성) 보다 정확하며(픽셀 수준의 정확도) 장면 그래프 표현을 촉진하기 위해 장면이해 분야의 발전.

PSG 모델의 두 가지 주요 유형

제안된 PSG 작업을 지원하기 위해 저자는 오픈 소스 코드 플랫폼 OpenPSG를 구축했습니다. OpenPSG는 모든 사람의 개발을 용이하게 하기 위해 4개의 2단계 방법과 2개의 단일 단계 방법을 구현합니다. , 분석하다.

2단계 방식은 Panoptic-FPN을 사용하여 첫 번째 단계에서 이미지의 파노라마 분할을 수행합니다.

다음으로 저자는 파노라마 분할을 통해 얻은 객체의 특징과 각 객체 융합 쌍의 관계 특징을 추출하여 관계 예측의 다음 단계로 보냅니다. 프레임워크는 전통적인 장면 그래프 생성 IMP, VCTree, Motifs 및 GPSNet의 고전적인 방법을 통합하고 재현했습니다.

PSGFormer는 듀얼 디코더 DETR을 기반으로 하는 단일 스테이지 방식입니다. 모델은 먼저 a)에서 컨벌루션 신경망 백본을 통해 이미지 특징을 추출하고 위치 코딩 정보를 인코더의 입력으로 추가하는 동시에 트리플을 표현하는 쿼리 세트를 초기화합니다. DETR과 유사하게 b) 모델은 교차 주의 작업을 위해 트리플을 나타내는 쿼리와 함께 인코더의 출력을 키와 값으로 디코더에 입력합니다. 그러면 모델은 디코딩된 각 쿼리를 c)의 주어-동사-목적어 삼중항에 해당하는 예측 모듈에 입력하고 최종적으로 해당 삼중항 예측 결과를 얻습니다.

PSGFormer는 듀얼 디코드를 기반으로 한 단일 단계 DETR 방법입니다. 모델 a)은 CNN을 통해 이미지 특징을 추출하고 위치 인코딩 정보를 인코더에 입력하며 두 세트의 쿼리를 초기화하여 각각 개체와 관계를 나타냅니다. 이후 b)단계에서는 인코더에서 인코딩된 영상 정보를 기반으로 객체 디코더와 관계 인코더에서 각각 교차 어텐션 디코딩을 통해 객체 쿼리와 관계 쿼리를 학습한다.

두 유형의 쿼리를 모두 학습한 후 c)에서 매핑 및 매칭을 통해 쌍을 이루는 삼중 쿼리를 얻습니다. 마지막으로 d)에서는 예측 헤드를 통해 객체 질의와 관계 질의에 대한 예측을 완료하고, c)의 매칭 결과를 바탕으로 최종 삼중 예측 결과를 얻는다.

PSGTR과 PSGFormer는 모두 DETR을 기반으로 하는 확장 및 개선된 모델입니다. 차이점은 PSGTR은 쿼리 세트를 사용하여 트리플을 직접 모델링하는 반면 PSGFormer는 두 개의 쿼리 세트를 사용하여 객체와 관계를 각각 모델링한다는 것입니다. 자세한 내용은 논문의 실험 결과를 참조하세요.

결론 공유

SGG 작업에 효과적인 대부분의 방법은 PSG 작업에도 여전히 효과적입니다. 그러나 데이터 세트에 대한 강력한 통계적 사전확률이나 주어, 술어 및 목적어의 술어 방향에 대한 사전확률을 활용하는 일부 방법은 그다지 효과적이지 않을 수 있습니다. 이는 PSG 데이터 세트의 편향이 기존 VG 데이터 세트에 비해 그다지 심각하지 않고, 술어 동사의 정의가 더 명확하고 학습 가능하기 때문일 수 있습니다. 따라서 저자들은 후속 방법들이 시각적 정보 추출과 이미지 자체에 대한 이해에 중점을 두기를 희망한다. 통계적 사전확률은 데이터 세트를 브러싱하는 데 효과적일 수 있지만 필수적인 것은 아닙니다.

현재는 2단 모델에 비해 단일 스테이지 모델이 더 나은 결과를 얻을 수 있습니다. 이는 단일 단계 모델의 관계에 대한 감독 신호가 특징 맵 측으로 직접 전달될 수 있기 때문에 관계 신호가 더 많은 모델 학습에 참여하여 관계 캡처에 유리하기 때문일 수 있습니다. 그러나 본 논문에서는 몇 가지 기본 모델만 제안하고 단일 단계 또는 2단계 모델을 최적화하지 않기 때문에 단일 단계 모델이 반드시 2단계 모델보다 강력하다고 말할 수는 없습니다. 이는 또한 참가자들이 계속해서 탐구하기를 희망합니다.

기존 SGG 작업과 비교하여 PSG 작업은 파노라마 분할 맵을 기반으로 관계 매칭을 수행하고 각 관계에서 주체 및 객체 객체의 ID 확인이 필요합니다. 객체 ID 분할을 완료하기 위한 파노라마 분할 맵의 2단계 직접 예측과 비교하여 단일 단계 모델은 일련의 후처리를 통해 이 단계를 완료해야 합니다. 기존 단일 단계 모델이 더욱 개선되고 업그레이드된다면 단일 단계 모델에서 객체 ID 확인을 보다 효과적으로 완료하고 더 나은 파노라마 분할 맵을 생성하는 방법은 여전히 ​​탐구할 가치가 있는 주제입니다.

마지막으로 누구나 HuggingFace를 사용해 볼 수 있습니다:

Demo: https://huggingface.co/spaces/ECCV2022/PSG

이미지 생성에 대한 전망

기준으로 최근 화재 텍스트 입력을 위한 생성 모델(예: DALL-E 2)은 정말 놀랍지만 일부 연구에 따르면 이러한 생성 모델은 텍스트에 표현된 공간 관계를 이해하지 못한 채 텍스트의 여러 엔터티를 서로 붙일 수 있는 것으로 나타났습니다. 아래와 같이 입력이 "cup on cup"이지만 생성된 그림은 여전히 ​​"spoon on cup"입니다.

PSG 데이터 세트가 마스크 기반 장면 그래프 관계로 표시되는 경우가 있습니다. 저자는 장면 그래프와 파노라마 분할 마스크를 훈련 쌍으로 사용하여 text2mask 모델을 얻고 마스크를 기반으로 보다 자세한 그림을 생성할 수 있습니다. 따라서 PSG 데이터 세트는 관계 중심 이미지 생성을 위한 잠재적인 솔루션을 제공할 수도 있습니다.

P.S. 종합적인 장면 인식을 공동으로 탐구하는 것을 목표로 하는 "PSG 챌린지"가 한창 진행 중입니다. 공모전 링크: https://www.cvmart.net/race/10349/base

위 내용은 Nanyang Polytechnic은 전체 장면 그래프에서 PSG를 생성하고 픽셀 수준에서 개체를 찾고 56개의 관계를 예측하는 작업을 제안했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!