중국어를 이해하는 AI 마스터, 산과 밝은 달이 그려져 있어 정말 놀랍습니다! 중국어-영어 이중 언어 AltDiffusion 모델이 오픈 소스로 제공되었습니다.
- WBOY앞으로
- 2023-04-14 14:58:27990검색
최근 Zhiyuan Research Institute의 대형 모델 연구팀은 최신 이중 언어 AltDiffusion 모델을 오픈 소스화하여 전문가 수준의 AI 텍스트 및 그래픽 생성의 강력한 힘을 중국 세계에 가져왔습니다.
고급 긴 미세 긴 생성 지원 중국어 프롬프트; 문화적 번역이 필요하지 않습니다. 원본 중국어는 형식과 정신 모두에서 중국 회화에 직접적으로 적용되며 회화 수준 측면에서 낮은 문턱에 도달했으며 원래 안정적인 확산 수준의 충격적인 시각 효과가 일치합니다. 중국어와 영어를 구사하는 세계적인 AI 회화 대가라고 할 수 있다.
혁신적인 모델 AltCLIP은 이 작업의 초석이며, 세 가지 강력한 교차 언어 기능으로 원래 CLIP 모델을 보완합니다. AltDiffusion과 AltCLIP 모델은 모두 다중 언어 모델이며 중국어와 영어 이중 언어가 작업의 첫 번째 단계이며 코드와 모델은 오픈 소스입니다.
AltDiffusion
https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion
AltCLIP
https:// github.com/FlagAI-Open/FlagAI/examples/AltCLIP
HuggingFace 공간 평가판 주소:
https://huggingface.co/spaces/BAAI/bilingual_stable_diffusion
기술 보고서
https://arxiv.org/abs/2211.06679
전문 중국어 AltDiffusion
——긴 프롬프트 고급 페인팅 + 중국 고유 스타일, 만족 중국 AI 높은 수요 for creative masters
AltCLIP을 기반으로 한 강력한 중국어 및 영어 이중 언어 정렬 기능 덕분에 AltDiffusion은 Stable Diffusion과 유사한 시각 효과 수준에 도달했으며, 특히 중국어를 더 잘 이해하고 중국어 회화를 더 잘할 수 있다는 고유한 장점이 있습니다. . 이는 전문적인 중국 AI 텍스트 및 그림 제작자의 기대에 매우 부합합니다.
1. 긴 프롬프트 생성, 그림 효과는 열등하지 않습니다
프롬프트 길이는 모델의 텍스트 및 이미지 생성 능력을 테스트하는 분수령이며, 프롬프트가 길수록 언어 이해의 세 가지 주요 기능을 더 많이 테스트합니다. , 이미지 및 텍스트 정렬, 언어 간.
동일한 중국어 및 영어 긴 프롬프트 입력 조정 하에서 AltDiffusion은 많은 이미지 생성 사례에서 더욱 표현력이 뛰어납니다. 요소 구성은 풍부하고 흥미롭고 세부 사항은 섬세하고 정확하게 설명됩니다.
2. 중국어를 더 잘 이해하고 중국어 회화를 더 잘할 수 있습니다
중국어와 영어 프롬프트의 유사한 입력 성능 외에도 AltDiffusion은 서구 세계의 중국어 회화 스타일의 단점을 보완할 수도 있습니다. , 중국 그림과 텍스트를 사용하여 계속 중국화 스타일 생성 모델과 같은 중국 특성 생성을 미세 조정하여 진정한 "중국 스타일"을 생성합니다.
AltDiffusion은 중국어를 더 잘 이해하고 중국 문화적 맥락에서 의미를 설명하고 창작자의 의도를 즉각적으로 이해할 수 있습니다. 예를 들어, "당나라의 대경"에 대한 설명은 문화적 오해로 인해 주제에서 벗어나는 것을 방지합니다.
특히 중국 문화에서 유래한 개념에 대해서는 보다 정확하게 이해하고 표현하여 "일본식"과 "중국식" 사이의 터무니없는 혼동을 피합니다. 예를 들어 중국어와 영어로 안정확산된 당복 문자 스타일에 해당하는 프롬프트를 입력하면 그 차이가 한눈에 확연히 드러납니다. 아래의 "고대 건물" 프롬프트의 경우 고대 중국 건물이 기본적으로 생성됩니다. 창의적인 스타일은 중국 창작자의 정체성에 더 부합합니다.
AltDiffusion은 원래 Stable Diffusion의 CLIP을 AltCLIP으로 대체하고 모델을 중국어 및 영어 그래픽 및 텍스트로 추가 학습하여 얻은 Stable Diffusion을 기반으로 합니다. . AltCLIP의 강력한 언어 정렬 기능 덕분에 AltDiffusion의 생성 효과는 영어의 Stable Diffusion에 매우 가깝고 중국어와 영어 이중 언어 성능의 일관성도 반영합니다.
StableDiffusion의 원래 생태계 열기
——풍부한 생태 도구 및 PromptsBook 응용 프로그램, 뛰어난 재생 가능성
AltDiffusion의 생태 통합 기능은 특히 언급할 가치가 있습니다.
모두 Stable Diffusion을 지원합니다. Stable Diffusion WebUI, DreamBooth 등과 같은 도구는 중국어-영어 이중 언어 확산 모델에 적용되어 중국어 AI 생성을 위한 다양한 선택을 제공할 수 있습니다.
1 Stable Diffusion WebUI
뛰어난 텍스트 및 이미지 생성, text 이미지 편집을 위한 웹 도구입니다. 북경대학교의 야경 이미지를 호그와트(프롬프트: 호그와트)로 변환하면 몽환적인 마법의 세계가 즉시 구현됩니다.
2. 소수의 샘플을 통한 모델 특정 스타일을 생성하기 위한 디버깅 도구입니다. 이 도구를 통해 "Havoc in Heaven" 스타일과 같은 AltDiffusion의 소수의 중국 이미지를 사용하여 특정 스타일을 생성할 수 있습니다.
3. 커뮤니티를 최대한 활용하세요. 안정적인 프롬프트 북
프롬프트는 모델 생성에 매우 중요합니다. 커뮤니티 사용자는 수많은 프롬프트 시도를 통해 풍부한 생성 효과 사례를 축적했습니다. 이러한 귀중한 프롬프트 경험은 AltDiffusion 사용자에게 거의 모두 적용 가능합니다!
또한 마법 같은 스타일과 요소에 맞게 중국어와 영어를 혼합하거나 AltDiffusion에 적합한 중국어 프롬프트를 계속 탐색할 수도 있습니다.
4. 중국 창작자가 미세 조정하기 편리함
오픈 소스 AltDiffusion은 중국 세대 모델의 기반을 제공합니다. 이를 기반으로 특정 분야에서 더 많은 중국 데이터를 사용하여 모델을 미세 조정할 수 있습니다. 중국 창작자의 표현.
최초의 이중 언어 AltCLIP 기반
- 세 가지 주요 언어 간 기능, 중국어-영어 정렬, 중국어 향상, 매우 낮은 임계값
언어 이해, 이미지 및 텍스트 정렬, 언어 간 기능을 종합적으로 향상 , 교차언어 연구에 필요한 세 가지 역량입니다.
AltDiffusion의 많은 전문가 수준 기능은 AltCLIP의 혁신적인 타워 변경 아이디어에서 파생되었으며 다음 세 가지 주요 기능이 완전히 향상되었습니다. 원래 CLIP의 중국어 및 영어 정렬 기능이 크게 향상되었으며 원활하게 동시에 원본 CLIP에 구축된 Stable Diffusion 및 기타 모든 모델 및 생태 도구에 연결되어 여러 데이터 세트에서 중국어로 더 나은 결과를 얻을 수 있는 강력한 중국어 기능이 제공됩니다. (자세한 설명은 기술 보고서를 참조하세요.)
이 정렬 방법은 중국어 또는 영어 이미지 및 텍스트를 다시 수행하는 것과 비교하여 다중 언어 및 다중 모드 표현 모델을 훈련하는 임계값을 크게 줄인다는 점을 언급할 가치가 있습니다. 사전 훈련을 통해 컴퓨팅 리소스와 이미지-텍스트 데이터의 약 1%만 필요합니다.
CLIP 종합 벤치마크에서 영문 원본과 동일한 효과를 달성
Flick 등 일부 검색 데이터 세트에서 원본 버전을 능가
Flicker-30K 어 -30K 원본 CLIP보다 성능이 좋습니다
중국 ImageNet의 제로샷 결과가 최고입니다
위 내용은 중국어를 이해하는 AI 마스터, 산과 밝은 달이 그려져 있어 정말 놀랍습니다! 중국어-영어 이중 언어 AltDiffusion 모델이 오픈 소스로 제공되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!