


교차 모달 요소 전송을 기반으로 Meitu 및 Dalian University of Technology의 참조 비디오 개체 분할 방법에는 단일 단계만 필요합니다.
Introduction
Referring VOS(RVOS)는 참조 텍스트를 기반으로 비디오 시퀀스에서 텍스트가 참조하는 개체를 분할하는 것을 목표로 하는 새로 등장한 작업입니다. 준지도 비디오 객체 분할과 비교하여 RVOS는 픽셀 수준 참조 마스크 대신 추상적인 언어 설명에만 의존하여 인간과 컴퓨터의 상호 작용에 보다 편리한 옵션을 제공하므로 광범위한 관심을 받았습니다.
논문 링크: https://www.aaai.org/AAAI22Papers/AAAI-1100.LiD.pdf
본 연구의 주요 목적은 기존 RVOS가 직면한 문제를 해결하는 것입니다. 작업 두 가지 주요 과제:
- 두 양식 간의 규모 일관성을 유지하고 텍스트에서 제공하는 유용한 기능 참조를 이미지 기능에 완전히 통합하기 위해 여러 양식에 걸쳐 텍스트 정보와 그림 정보를 융합하는 방법
- 기존 방법의 2단계 전략을 버리는 방법(즉, 먼저 이미지 수준에서 프레임별로 대략적인 결과를 얻은 다음 그 결과를 참조로 사용하고 강화된 시간 정보로 구조적 정제를 통해 최종 예측을 얻는 방법) ), 전체 RVOS 작업을 단일 단계 프레임워크로 통합합니다.
이와 관련하여 이 연구는 크로스 모달 요소 마이그레이션을 위한 엔드 투 엔드 RVOS 프레임워크인 YOFO를 제안합니다. 주요 기여와 혁신은 다음과 같습니다.
- 필요합니다. 참조 텍스트 정보를 사용하여 비디오 대상의 분할 결과를 직접 얻기 위한 단일 단계 추론 - Ref-DAVIS2017 및 Ref-Youtube-VOS에서 얻은 결과는 현재의 모든 2단계 방법을 능가합니다. 시간 정보를 향상시켜 보다 목표 중심의 특징 학습을 달성하는 Meta-Transfer 모듈
- 유용한 특징을 완전히 통합할 수 있는 다중 규모 교차 모달 특징 마이닝(Multi-Scale Cross -Modal Feature Mining) 모듈을 제안합니다. 언어와 그림으로.
- 구현 전략
다중 스케일 교차 모달 특성 마이닝 모듈
: 이 모듈은 서로 다른 스케일의 두 모달 특성을 점진적으로 융합하여 이미지 특성이 전달하는 스케일 정보와 언어 특성 간의 관계를 유지할 수 있습니다. 일관성, 그리고 더 중요하게는 융합 프로세스 중에 언어 정보가 다중 규모 이미지 정보로 인해 희석되거나 압도되지 않도록 보장합니다.
Meta-migration 모듈
: 학습-학습 전략을 채택했으며, 그 과정은 간단히 다음 매핑 기능으로 설명할 수 있습니다. 마이그레이션 함수 가 컨볼루션인 경우 는 컨볼루션 커널 매개변수 입니다.
최적화 과정은 다음과 같은 목적함수로 표현할 수 있습니다.
이 중 M은 과거 정보를 저장할 수 있는 메모리 뱅크를 나타내고, W는 다양한 위치의 가중치를 나타냅니다. 다양한 위치와 다양한 특징 주의 정도 Y는 메모리 뱅크에 저장된 각 비디오 프레임의 이중 모드 특징을 나타냅니다. 이 최적화 프로세스는 바이모달 특징을 재구성하는 메타 전송 기능의 능력을 최대화하고 전체 프레임워크를 엔드투엔드 학습할 수 있도록 합니다.
Training and Testing: 훈련에 사용된 손실 함수는 lovasz 손실이며, 훈련 세트는 Ref-DAVIS2017과 Ref-Youtube-VOS 두 개의 비디오 데이터 세트이며 정적 데이터 세트 Ref를 통해 수행됩니다. -COCO 무작위 아핀 변환은 비디오 데이터를 보조 훈련으로 시뮬레이션합니다. 메타 마이그레이션 프로세스는 훈련 및 예측 중에 수행되며 전체 네트워크는 1080ti에서 10FPS의 속도로 실행됩니다.
실험 결과
연구에 사용된 방법은 두 개의 주류 RVOS 데이터 세트(Ref-DAVIS2017 및 Ref-Youtube-VOS)에서 우수한 결과를 얻었습니다. 정량적 지표와 일부 시각화 렌더링은 다음과 같습니다.
그림 3: 두 가지 주류 데이터 세트에 대한 정량적 지표.
그림 4: VOS 데이터 세트의 시각화.
그림 5: YOFO의 기타 시각화 효과.
이 연구에서는 기능 마이닝 모듈(FM)과 메타 전송 모듈(MT)의 효율성을 설명하기 위해 일련의 절제 실험도 수행했습니다.
그림 6: 기능 마이닝 모듈(FM) 및 메타 전송 모듈(MT)의 효율성.
또한, MT 모듈을 사용하지 않고 MT 모듈을 사용하여 디코더의 출력 특성을 시각화한 결과, MT 모듈이 언어가 설명하는 내용을 올바르게 캡처하고 간섭 노이즈를 수행할 수 있음을 명확하게 알 수 있습니다. .
그림 7: MT 모듈 사용 전후의 디코더 출력 기능 비교. 팀 소개
본 논문은 메이투 이미징 연구소(MT Lab) 연구원과 다롄 공과대학교 루후추안 팀이 공동으로 제안한 것입니다. Meitu Imaging Research Institute(MT Lab)는 컴퓨터 비전, 기계 학습, 증강 현실, 클라우드 컴퓨팅 및 기타 분야의 알고리즘 연구, 엔지니어링 개발 및 제품화에 전념하는 Meitu 팀입니다. Meitu의 기존 제품과 미래 제품의 기반을 제공합니다. 핵심 알고리즘 지원을 제공하고 최첨단 기술을 통해 Meitu 제품 개발을 촉진합니다. "Meitu의 기술 센터"로 알려져 있으며 CVPR, ICCV, ECCV 등 최고의 국제 컴퓨터 비전 컨퍼런스에 참가하여 우승했습니다. 10번 이상의 우승과 준우승.
위 내용은 교차 모달 요소 전송을 기반으로 Meitu 및 Dalian University of Technology의 참조 비디오 개체 분할 방법에는 단일 단계만 필요합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

"AI-Ready Workforce"라는 용어는 자주 사용되지만 공급망 산업에서 실제로 무엇을 의미합니까? ASCM (Association for Supply Chain Management)의 CEO 인 Abe Eshkenazi에 따르면 비평가가 가능한 전문가를 의미합니다.

분산 된 AI 혁명은 조용히 운동량을 얻고 있습니다. 이번 주 금요일 텍사스 오스틴에서 Bittensor Endgame Summit은 중추적 인 순간을 표시하여 분산 된 AI (DEAI)를 이론에서 실제 적용으로 전환합니다. 화려한 광고와 달리

Enterprise AI는 데이터 통합 문제에 직면 해 있습니다 Enterprise AI의 적용은 비즈니스 데이터를 지속적으로 학습함으로써 정확성과 실용성을 유지할 수있는 시스템을 구축하는 주요 과제에 직면 해 있습니다. NEMO 마이크로 서비스는 NVIDIA가 "데이터 플라이휠"으로 묘사 한 내용을 작성 하여이 문제를 해결하여 AI 시스템이 엔터프라이즈 정보 및 사용자 상호 작용에 지속적으로 노출되어 관련성을 유지할 수 있도록합니다. 새로 출시 된이 툴킷에는 5 개의 주요 마이크로 서비스가 포함되어 있습니다. NEMO Customizer는 더 높은 교육 처리량으로 대형 언어 모델의 미세 조정을 처리합니다. NEMO 평가자는 사용자 지정 벤치 마크에 대한 AI 모델의 단순화 된 평가를 제공합니다. Nemo Guardrails는 보안 제어를 구현하여 규정 준수 및 적절성을 유지합니다.

AI : 예술과 디자인의 미래 인공 지능 (AI)은 전례없는 방식으로 예술 및 디자인 분야를 변화시키고 있으며, 그 영향은 더 이상 아마추어에게만 국한되지 않고 전문가에게 더 큰 영향을 미칩니다. AI에 의해 생성 된 아트 워크 및 디자인 체계는 광고, 소셜 미디어 이미지 생성 및 웹 디자인과 같은 많은 트랜잭션 디자인 활동에서 전통적인 재료 이미지 및 디자이너를 빠르게 대체하고 있습니다. 그러나 전문 예술가와 디자이너는 AI의 실질적인 가치도 찾습니다. 그들은 AI를 보조 도구로 사용하여 새로운 미적 가능성을 탐색하고 다양한 스타일을 혼합하며 새로운 시각 효과를 만듭니다. AI는 아티스트와 디자이너가 반복적 인 작업을 자동화하고 다양한 디자인 요소를 제안하며 창의적인 입력을 제공하도록 도와줍니다. AI는 스타일 전송을 지원하며 이미지 스타일을 적용합니다.

처음에는 화상 회의 플랫폼으로 유명한 Zoom은 에이전트 AI의 혁신적인 사용으로 직장 혁명을 이끌고 있습니다. Zoom의 CTO 인 XD Huang과의 최근 대화는 회사의 야심 찬 비전을 공개했습니다. 에이전트 AI 정의 Huang d

AI가 교육에 혁명을 일으킬까요? 이 질문은 교육자와 이해 관계자들 사이에서 심각한 반영을 촉구하고 있습니다. AI를 교육에 통합하면 기회와 도전이 모두 나타납니다. Tech Edvocate의 Matthew Lynch로서 Universit

미국의 과학 연구 및 기술의 발전은 아마도 예산 삭감으로 인해 어려움에 직면 할 수 있습니다. Nature에 따르면, 해외 일자리를 신청하는 미국 과학자의 수는 2024 년 같은 기간에 비해 2025 년 1 월부터 3 월까지 32% 증가했습니다. 이전 여론 조사에 따르면 설문 조사에 참여한 연구원의 75%가 유럽과 캐나다에서 일자리 검색을 고려하고 있음을 보여주었습니다. 지난 몇 개월 동안 수백 개의 NIH와 NSF 보조금이 종료되었으며, NIH의 새로운 보조금은 올해 약 23 억 달러로 줄어 듭니다. 유출 된 예산 제안에 따르면 트럼프 행정부는 과학 기관의 예산을 급격히 줄이는 것을 고려하고 있으며 최대 50%감소 할 수 있습니다. 기본 연구 분야의 혼란은 또한 미국의 주요 장점 중 하나 인 해외 인재 유치에 영향을 미쳤습니다. 35

Openai는 강력한 GPT-4.1 시리즈를 공개합니다. 실제 응용 프로그램을 위해 설계된 3 개의 고급 언어 모델 패밀리. 이 중요한 도약 전진


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

안전한 시험 브라우저
안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

mPDF
mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

드림위버 CS6
시각적 웹 개발 도구
