대규모 시각적 언어 모델(LVLM)은 모델을 확장하여 성능을 향상시킬 수 있습니다. 그러나 매개변수 크기를 늘리면 각 토큰의 계산이 모든 모델 매개변수를 활성화하므로 훈련 및 추론 비용이 증가합니다.
북경 대학교, 쑨원 대학교 및 기타 기관의 연구원들은 다중 모달 학습 및 모델 희소성과 관련된 성능 저하 문제를 해결하기 위해 MoE-Tuning이라는 새로운 훈련 전략을 공동으로 제안했습니다. MoE-Tuning은 놀라운 수의 매개변수를 사용하지만 일정한 계산 비용을 사용하여 희소 모델을 구축할 수 있습니다. 또한 연구원들은 MoE-LLaVA 프레임워크라고 불리는 MoE 기반의 새로운 희소 LVLM 아키텍처도 제안했습니다. 이 프레임워크에서는 라우팅 알고리즘을 통해 상위 k명의 전문가만 활성화되고 나머지 전문가는 비활성 상태로 유지됩니다. 이러한 방식으로 MoE-LLaVA 프레임워크는 배포 프로세스 중에 전문가 네트워크의 리소스를 보다 효율적으로 활용할 수 있습니다. 이러한 연구 결과는 LVLM 모델의 다중 모드 학습 및 모델 희소성 문제를 해결하기 위한 새로운 솔루션을 제공합니다.
논문 주소: https://arxiv.org/abs/2401.15947
프로젝트 주소: https://github.com/PKU-YuanGroup/MoE-LLaVA
데모 주소: https://huggingface.co/spaces/LanguageBind/MoE-LLaVA
논문 제목: MoE-LLaVA: Mixture of Experts for Large Vision-Language Models
위 내용은 다중 모드 대형 모델이 희박하며 3B 모델 MoE-LLaVA는 LLaVA-1.5-7B와 유사합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

소개 신속한 엔지니어링에서 "Thought of Thought"는 그래프 이론을 사용하여 AI의 추론 과정을 구성하고 안내하는 새로운 접근법을 나타냅니다. 종종 선형 S와 관련된 전통적인 방법과 달리

소개 축하해요! 당신은 성공적인 사업을 운영합니다. 웹 페이지, 소셜 미디어 캠페인, 웹 세미나, 컨퍼런스, 무료 리소스 및 기타 소스를 통해 매일 5000 개의 이메일 ID를 수집합니다. 다음 명백한 단계는입니다

소개 오늘날의 빠르게 진행되는 소프트웨어 개발 환경에서 최적의 애플리케이션 성능이 중요합니다. 응답 시간, 오류율 및 자원 활용과 같은 실시간 메트릭 모니터링 메인이 도움이 될 수 있습니다.

"얼마나 많은 사용자가 있습니까?" 그는 자극했다. Altman은“마지막으로 우리가 마지막으로 말한 것은 매주 5 억 명의 행위자이며 매우 빠르게 성장하고 있다고 생각합니다. 앤더슨은 계속해서“당신은 나에게 몇 주 만에 두 배가되었다고 말했습니다. “저는 그 개인이라고 말했습니다

소개 Mistral은 최초의 멀티 모드 모델, 즉 Pixtral-12B-2409를 발표했습니다. 이 모델은 Mistral의 120 억 개의 매개 변수 인 NEMO 12B를 기반으로합니다. 이 모델을 차별화하는 것은 무엇입니까? 이제 이미지와 Tex를 모두 가져갈 수 있습니다

쿼리에 응답 할뿐만 아니라 자율적으로 정보를 모으고, 작업을 실행하며, 여러 유형의 데이터 (텍스트, 이미지 및 코드를 처리하는 AI 구동 조수가 있다고 상상해보십시오. 미래처럼 들리나요? 이것에서

소개 금융 산업은 효율적인 거래 및 신용 가용성을 촉진함으로써 경제 성장을 주도하기 때문에 모든 국가 개발의 초석입니다. 거래가 발생하는 용이성 및 신용

소개 소셜 미디어, 금융 거래 및 전자 상거래 플랫폼과 같은 소스에서 전례없는 속도로 데이터가 생성되고 있습니다. 이 지속적인 정보 스트림을 처리하는 것은 어려운 일이지만


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

안전한 시험 브라우저
안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

맨티스BT
Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

SublimeText3 영어 버전
권장 사항: Win 버전, 코드 프롬프트 지원!

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
