찾다
기술 주변기기일체 포함Tsinghua University의 벽면 지능형 오픈 소스 중국 다중 모드 대형 모델 VisCPM: 양방향 대화 텍스트 및 이미지 생성을 지원하고 놀라운 시 및 그림 기능을 갖추고 있습니다.

2020년 12월에 출시된 CPM-1은 중국 최초의 대형 모델입니다. 2022년 9월에 출시된 CPM-Ant는 WebCPM의 0.06% 미세 조정만으로 전체 매개변수 미세 조정 효과를 능가할 수 있습니다. 2023년 5월 중국 최초의 검색 기반 질의응답 오픈소스 모델입니다. CPM-Bee 수백억 모델은 팀이 출시한 최신 기본 모델로, 중국어 능력은 권위 있는 ZeroCLUE 목록에서 1위를 차지하고, 영어 능력은 LLaMA와 동등합니다.

획기적인 성과를 거듭하며 국내 대형 모델의 선두 자리에 오르는 CPM 시리즈의 대형 모델이 최근 출시된 VisCPM이 또 하나의 증거입니다! VisCPM은 Wallface Intelligence, Tsinghua University NLP Laboratory 및 Zhihu가 OpenBMB에서 공동으로 오픈 소스로 제공하는 다중 모드 대형 모델 시리즈입니다. 그중 VisCPM-Chat 모델은 중국어 및 영어 이중 언어 다중 모드 대화 기능을 지원하며 VisCPM-Paint는 모델은 WenDao 그래프 생성 기능을 지원하며, 평가에 따르면 VisCPM은 중국 다중 모드 오픈 소스 모델 중 최고 수준에 도달한 것으로 나타났습니다.

VisCPM은 수백억 개의 매개변수 기반 모델인 CPM-Bee를 기반으로 학습되었으며, 시각적 인코더(Q-Former)와 시각적 디코더(Diffusion-UNet)를 통합하여 시각적 신호의 입력 및 출력을 지원합니다. CPM-Bee 덕분에 VisCPM은 베이스의 우수한 이중 언어 기능을 통해 영어 다중 모드 데이터로 사전 학습되고 일반화되어 우수한 중국어 다중 모드 기능을 달성할 수 있습니다.

清华系面壁智能开源中文多模态大模型VisCPM :支持对话文图双向生成,吟诗作画能力惊艳VisCPM 간단한 아키텍처 다이어그램

Let's VisCPM-Chat을 자세히 살펴보세요. VisCPM-Paint가 있는 소는 어디에 있나요?

清华系面壁智能开源中文多模态大模型VisCPM :支持对话文图双向生成,吟诗作画能力惊艳Pictures

VisCPM 링크: https://github.com/OpenBMB/VisCPM

VisCPM-Chat은 중국어와 영어의 이미지 중심 이중 언어 처리를 지원합니다. 모델은 Q-Former를 시각적 인코더로 사용하고 CPM-Bee(10B)를 언어 상호 작용 기본 모델로 사용합니다. 언어 모델링 훈련 목표를 통한 언어 모델에는 사전 훈련과 지시 미세 조정이 포함됩니다.

팀은 CC3M을 포함하여 약 100M개의 고품질 영어 이미지 및 텍스트 데이터를 사용했습니다. , CC12M, COCO, Visual Genome, Laion 등의 사전 학습 단계에서 언어 모델 매개변수는 고정된 상태로 유지되며 Q-Former의 일부 매개변수만 업데이트되어 대규모 시각적 언어 표현의 효율적인 정렬을 지원합니다.

그런 다음 팀은 VisCPM-Chat의 지침을 LLaVA-150K 영어를 사용하여 미세 조정하고 해당 번역된 중국어 데이터를 혼합하여 모델의 다중을 정렬했습니다. -모달 기본 기능 및 사용자 사용 의도. 명령 미세 조정 단계에서는 명령 미세 조정 데이터의 활용 효율성을 향상시키기 위해 모든 모델 매개변수를 업데이트했습니다.

흥미롭게도 영어 지침만 있어도 팀이 발견했습니다. 데이터는 지침 미세 조정에 사용되었으며 모델은 중국어 질문을 이해할 수 있었지만 영어로만 답변할 수 있었습니다. 이는 모델이 소량의 중국어 번역 데이터를 추가하여 잘 일반화되었음을 보여줍니다. 명령 미세 조정 단계에서 모델 응답 언어는 사용자 질문 언어와 일치할 수 있습니다.

팀은 LLaVA 영어 테스트 세트와 중국어 번역을 테스트했습니다. 평가 벤치마크에서 모델을 평가했습니다. 공개 도메인 대화, 이미지 세부 설명 및 복잡한 추론에서 모델의 성능을 검사하고 GPT-4를 사용하여 점수를 매깁니다. VisCPM-Chat은 최고의 평균 성능

을 달성한 것으로 나타났습니다. 일반적인 도메인 대화 및 복잡한 추론에서 좋은 성능을 발휘했으며 영어 다중 모드 기능도 우수했습니다.

VisCPM-Chat은 각각 VisCPM -Chat-balance와 VisCPM-Chat-zhplus의 두 가지 모델 버전을 제공합니다. 전자는 영어와 중국어 능력의 균형이 더 잘 잡혀 있고, 중국어 능력은 후자가 더 두드러집니다.

두 모델은 명령 미세 조정 단계에서 동일한 데이터를 사용합니다. VisCPM-Chat-zhplus는 사전 학습 단계에서 2천만 개의 정리된 중국어 이미지-텍스트 쌍 데이터와 120M개의 번역된 중국어 이미지-텍스트 쌍 데이터를 추가합니다.

사진

다음은 VisCPM-Chat의 다중 모드 대화 기능을 시연한 것입니다. 특정 지역의 지도를 인식할 수 있을 뿐만 아니라 낙서와 영화 포스터도 읽을 수 있으며 스타벅스 로고도 인식할 수 있습니다. 게다가 저는 중국어와 영어를 매우 구사합니다!


清华系面壁智能开源中文多模态大模型VisCPM :支持对话文图双向生成,吟诗作画能力惊艳

중국어와 영어의 이중 언어 텍스트-이미지 생성을 지원하는 VisCPM-Paint를 살펴보겠습니다. 본 모델은 텍스트 인코더로 CPM-Bee(10B), 이미지 디코더로 UNet을 사용하며 확산 모델 학습을 통해 언어와 시각 융합 모델을 목표로 합니다.

훈련 과정에서 언어 모델 매개변수는 항상 고정된 상태로 유지됩니다. Stable Diffusion 2.1의 UNet 매개변수를 사용하여 시각적 디코더를 초기화하고 주요 브리징 매개변수를 점진적으로 해제하여 이를 언어 모델과 융합합니다. 먼저 시각적 모델에 매핑되는 텍스트 표현의 선형 레이어를 훈련한 다음 교차 주의를 추가로 해제합니다. UNet 계층. 이 모델은 Laion 2B 영어 이미지-텍스트 데이터를 기반으로 학습되었습니다.

VisCPM-Paint와 유사하며 기본 모델 CPM-Bee의 이중 언어 기능 덕분에 VisCPM-Paint는 영어 이미지와 텍스트 쌍을 통해서만 학습할 수 있으며 일반화하여 우수한 중국어 텍스트-이미지 생성 기능을 달성할 수 있습니다. , 최고의 중국어 오픈 소스 모델에 도달합니다. 정리된 20M의 중국어 원어 이미지-텍스트 쌍 데이터와 중국어로 번역된 120M의 이미지-텍스트 쌍 데이터를 추가하여 모델의 중국어 텍스트-이미지 생성 기능이 더욱 향상되었습니다. 마찬가지로 VisCPM-Paint에는 Balance와 zhplus라는 두 가지 버전이 있습니다. 그들은 표준 이미지 생성 테스트 세트 MSCOCO에서 30,000개의 이미지를 샘플링하고 일반적으로 사용되는 평가 이미지 생성 메트릭 FID(Fréchet Inception Distance)를 계산하여 생성된 이미지의 품질을 평가했습니다.

清华系面壁智能开源中文多模态大模型VisCPM :支持对话文图双向生成,吟诗作画能力惊艳

VisCPM-Paint 모델에 두 개의 프롬프트를 입력합니다: "밝은 달이 바다에 떠오릅니다. 세상은 이때 미적 스타일, 추상적 스타일입니다." 및 "사람들은 한가하고, 계수나무 꽃은 떨어지고, 달은 봄 하늘에 조용하다"라고 입력하면 다음 두 개가 생성됩니다. 사진:

清华系面壁智能开源中文多模态大模型VisCPM :支持对话文图双向生成,吟诗作画能力惊艳

(세대 효과의 안정성은 아직 개선의 여지가 있음)

은 상당히 놀랍습니다. 라고 할 수 있습니다. 고대시의 예술적 개념을 정확하게 파악하고 있다는 것입니다. 미래에 시를 이해할 수 없다면 그림을 생성하여 이해하십시오! 설계에 적용하면 인력을 많이 절약할 수 있다. VisCPM-Chat을 사용하면 "그리기"뿐만 아니라 "시 낭송"도 가능합니다.: 사진을 사용하여 시를 역검색하세요. 예를 들어, 이백(Li Bai)의 시를 사용하여 황하의 풍경을 묘사하고 해석할 수 있으며, Su Shi의 "Shui Tiao Ge Tou"를 사용하여 중추절 달밤을 마주할 때의 감정을 표현할 수도 있습니다.

清华系面壁智能开源中文多模态大模型VisCPM :支持对话文图双向生成,吟诗作画能力惊艳清华系面壁智能开源中文多模态大模型VisCPM :支持对话文图双向生成,吟诗作画能力惊艳

VisCPM은 생성 결과가 좋을 뿐만 아니라 다운로드 버전은 세심하게 디자인되었으며 설치 및 사용도 매우 쉽습니다.

清华系面壁智能开源中文多模态大模型VisCPM :支持对话文图双向生成,吟诗作画能力惊艳VisCPM은 다양한 중국어 및 영어 기능이 포함된 모델 버전을 제공합니다.

清华系面壁智能开源中文多模态大模型VisCPM :支持对话文图双向生成,吟诗作画能力惊艳

VisCPM은 모든 사람이 다운로드하고 선택할 수 있도록 다양한 중국어 및 영어 기능이 포함된 모델 버전을 제공합니다. 설치 단계는 간단하며 다중 모델입니다. 사용 중에 몇 줄의 코드로 구현할 수 있으며, 입력 텍스트 및 출력 이미지에 대한 보안 검사가 코드에서 기본적으로 활성화됩니다. (특정 튜토리얼은 README를 참조하세요.) 앞으로 팀은 VisCPM을 허깅페이스 코드 프레임워크에 통합하고 점차적으로 보안 모델을 개선하고 신속한 웹 페이지 배포를 지원하며 모델 수량화 기능을 지원하고 모델 미세 조정 및 기타 지원을 지원할 예정입니다. 기능 업데이트를 계속 지켜봐주세요!

VisCPM 시리즈 모델은 개인적인 사용 및 연구 목적을 매우 환영합니다. 상업적 목적으로 모델을 사용하려는 경우 cpm@modelbest.cn에 연락하여 상업용 라이센스 문제를 논의할 수도 있습니다.

기존 모델은 단일 모드 데이터 처리에 중점을 둡니다. 실제 세계의 정보는 다중 모드인 경우가 많습니다. 다중 모드 대형 모델은 인공 지능 시스템의 지각 상호 작용 기능을 개선하고 현실 세계의 복잡한 인식 및 상호 작용 문제를 해결합니다. AI에 대한 이해는 새로운 기회를 제공합니다. 칭화에 본사를 둔 대형 모델 회사는 강력한 벽면 지능 연구 및 개발 역량을 보유하고 있다고 말할 수 있습니다. 공동 출시된 다중 모드 대형 모델 VisCPM은 강력하고 놀라운 성능을 발휘합니다.

위 내용은 Tsinghua University의 벽면 지능형 오픈 소스 중국 다중 모드 대형 모델 VisCPM: 양방향 대화 텍스트 및 이미지 생성을 지원하고 놀라운 시 및 그림 기능을 갖추고 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
최고의 프롬프트 엔지니어링 기술의 최신 연간 편집최고의 프롬프트 엔지니어링 기술의 최신 연간 편집Apr 10, 2025 am 11:22 AM

내 칼럼을 처음 접할 수있는 분들을 위해, 나는 구체화 된 AI, AI 추론, AI의 첨단 획기적인 혁신, AI 교육, AI의 수비, ai re

유럽의 AI 대륙 행동 계획 : 기가 팩토리, 데이터 실험실 및 녹색 AI유럽의 AI 대륙 행동 계획 : 기가 팩토리, 데이터 실험실 및 녹색 AIApr 10, 2025 am 11:21 AM

유럽의 야심 찬 AI 대륙 행동 계획은 EU를 인공 지능의 글로벌 리더로 설립하는 것을 목표로합니다. 핵심 요소는 AI Gigafactories 네트워크를 만드는 것입니다. 각각 약 100,000 개의 고급 AI 칩을 보유하고 있습니다 - Capaci의 4 배

Microsoft의 간단한 에이전트 스토리가 더 많은 팬을 만들기에 충분합니까?Microsoft의 간단한 에이전트 스토리가 더 많은 팬을 만들기에 충분합니까?Apr 10, 2025 am 11:20 AM

AI 에이전트 애플리케이션에 대한 Microsoft의 통합 접근 방식 : 비즈니스를위한 명확한 승리 새로운 AI 에이전트 기능에 관한 Microsoft의 최근 발표는 명확하고 통합 된 프레젠테이션에 깊은 인상을 받았습니다. 많은 기술 발표와는 달리 TE에서 멍청한 것입니다

직원에게 AI 전략 판매 : Shopify CEO의 선언문직원에게 AI 전략 판매 : Shopify CEO의 선언문Apr 10, 2025 am 11:19 AM

Shopify CEO Tobi Lütke의 최근 메모는 AI 숙련도가 모든 직원에 대한 근본적인 기대를 대담하게 선언하여 회사 내에서 중요한 문화적 변화를 표시합니다. 이것은 도망가는 트렌드가 아닙니다. 그것은 p에 통합 된 새로운 운영 패러다임입니다

IBM은 전체 AI 통합으로 Z17 메인 프레임을 출시합니다IBM은 전체 AI 통합으로 Z17 메인 프레임을 출시합니다Apr 10, 2025 am 11:18 AM

IBM의 Z17 메인 프레임 : 향상된 비즈니스 운영을 위해 AI를 통합합니다 지난 달, IBM의 뉴욕 본사에서 Z17의 기능을 미리 보았습니다. Z16의 성공을 기반으로 (2022 년에 시작되어 지속적인 수익을 보여주는 시연

5 Chatgpt가 다른 사람에 따라 멈추고 자신을 완전히 믿으라고 프롬프트5 Chatgpt가 다른 사람에 따라 멈추고 자신을 완전히 믿으라고 프롬프트Apr 10, 2025 am 11:17 AM

흔들리지 않는 자신감을 해제하고 외부 검증의 필요성을 제거하십시오! 이 다섯 개의 chatgpt 프롬프트는 완전한 자립과 자기 인식의 변형적인 변화로 당신을 안내 할 것입니다. 간단히 괄호를 복사, 붙여 넣기 및 사용자 정의하십시오

AI는 당신의 마음과 위험합니다AI는 당신의 마음과 위험합니다Apr 10, 2025 am 11:16 AM

인공 지능 보안 및 연구 회사 인 Anthropic의 최근 [연구]는 이러한 복잡한 과정에 대한 진실을 밝히기 시작하여 우리 자신의인지 영역과 방해가되는 복잡성을 보여줍니다. 자연 지능과 인공 지능은 우리가 생각하는 것보다 더 유사 할 수 있습니다. 내부 스누핑 : 의인성 해석 가능성 연구 Anthropic이 수행 한 연구에서 얻은 새로운 연구 결과는 AI의 내부 컴퓨팅을 역 엔지니어링하는 것을 목표로하는 기계적 해석 성 분야에서 상당한 발전을 나타냅니다. AI가하는 일을 관찰 할뿐만 아니라 인공 뉴런 수준에서 어떻게 수행하는지 이해합니다. 누군가가 특정한 대상을 보거나 특정한 아이디어에 대해 생각할 때 어떤 뉴런이 발사하는지 그림으로 뇌를 이해하려고한다고 상상해보십시오. 에이

Dragonwing은 Qualcomm의 가장자리 모멘텀을 보여줍니다Dragonwing은 Qualcomm의 가장자리 모멘텀을 보여줍니다Apr 10, 2025 am 11:14 AM

Qualcomm 's Dragonwing : 기업 및 인프라로의 전략적 도약 Qualcomm은 새로운 Dragonwing 브랜드를 통해 전 세계적으로 엔터프라이즈 및 인프라 시장을 대상으로 모바일을 넘어 범위를 적극적으로 확장하고 있습니다. 이것은 단지 Rebran이 아닙니다

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

ZendStudio 13.5.1 맥

ZendStudio 13.5.1 맥

강력한 PHP 통합 개발 환경

Atom Editor Mac 버전 다운로드

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

SublimeText3 Linux 새 버전

SublimeText3 Linux 새 버전

SublimeText3 Linux 최신 버전

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.