휴대폰 및 기타 모바일 장치에서 Stable Diffusion과 같은 대규모 생성 AI 모델을 실행하는 것은 생성 속도가 주요 제약인 업계의 핫스팟 중 하나가 되었습니다.
최근 Google의 논문 "MobileDiffusion: 모바일 기기에서 1초 미만의 텍스트-이미지 생성"이 제안되었으며, 이는 iPhone 15 Pro에서 단 0.2초 밖에 걸리지 않는 모바일 기기에서 가장 빠른 텍스트-이미지 생성을 제안했습니다. 이 논문은 UFOGen과 동일한 팀에서 나온 것입니다. 초소형 확산 모델을 만드는 동시에 샘플링 가속을 위해 현재 널리 사용되는 Diffusion GAN 기술 경로도 채택합니다.
논문을 보려면 다음 링크를 클릭하세요: https://arxiv.org/abs/2311.16567
다음은 MobileDiffusion이 한 단계로 생성한 결과입니다.
그렇다면 MobileDiffusion은 어떻게 최적화되나요?
먼저 문제부터 시작하여 왜 최적화가 필요한지 살펴보겠습니다.
현재 가장 널리 사용되는 텍스트-이미지 생성 기술은 확산 모델을 기반으로 합니다. 사전 훈련된 모델의 강력한 기본 이미지 생성 기능과 다운스트림 미세 조정 작업에 대한 견고성으로 인해 이미지 편집, 제어 가능한 생성, 개인화 생성 및 비디오 생성과 같은 영역에서 확산 모델의 탁월한 성능을 확인했습니다
그러나 기본 모델로서 단점도 뚜렷하며 주로 두 가지 측면을 포함합니다. 첫째, 확산 모델의 매개변수 수가 많으면 계산 속도가 느려지고, 특히 리소스가 제한될 때 확산 모델에는 많은 매개변수가 필요합니다. 샘플링은 여러 단계를 거치므로 추론 속도가 느려집니다. 많이 기대되는 Stable Diffusion 1.5(SD)를 예로 들면, 기본 모델에는 거의 10억 개의 매개변수가 포함되어 있습니다. 모델을 양자화하고 추론을 수행한 경우 iPhone 15 Pro에서 50단계의 샘플링이 80초에 가깝습니다. 이러한 고가의 리소스 요구 사항과 느린 사용자 경험으로 인해 모바일 단말기의 적용 시나리오가 크게 제한됩니다
위의 문제를 해결하기 위해 MobileDiffusion은 지점 간을 최적화합니다. (1) 큰 모델 크기 문제에 대응하여 우리는 주로 계산 비용이 많이 드는 컨볼루션 단순화 및 주의 작업을 하위 계층에 배치하고 다음과 같은 모바일 장치 작업 최적화를 대상으로 하는 등 핵심 구성 요소인 UNet에 대해 많은 실험과 최적화를 수행했습니다. 활성화 기능 등 (2) 확산 모델에는 다단계 샘플링이 필요하다는 문제에 대응하여 MobileDiffusion에서는 Progressive Distillation 및 최신 UFOGen과 같은 1단계 추론 기술을 탐구하고 실습합니다.
모델 최적화
MobileDiffusion은 오늘날 오픈 소스 커뮤니티에서 가장 인기 있는 SD 1.5 UNet을 기반으로 최적화되었습니다. 각 최적화 작업 후에는 원래 UNet 모델과 관련된 성능 손실이 동시에 측정됩니다. 측정 지표에는 일반적으로 사용되는 두 가지 측정항목인 FID와 CLIP이 포함됩니다.
전체 계획
사진의 왼쪽은 원래 UNet의 설계도이며 기본적으로 Convolution과 Transformer가 포함되어 있고 Transformer에는 self- Attention Force 메커니즘과 Cross-Attention 메커니즘
MobileDiffusion의 UNet 최적화에 대한 핵심 아이디어는 두 가지 점으로 나뉩니다. 1) Streamlining Convolution 우리 모두 알고 있듯이 고해상도 기능 공간에 대한 Convolution은 매우 시간이 많이 걸립니다. 매개변수의 수가 많습니다. 여기서는 Full Convolution을 나타냅니다. 2) 주의 효율성 향상. Convolution과 마찬가지로 High Attention은 전체 기능 공간의 길이를 계산해야 합니다. Self-Attention 복잡성은 기능 공간의 평면화된 길이와 정사각형으로 관련되며 Cross-Attention도 공간 길이에 비례합니다.
실험을 통해 UNet의 16개 Transformer 전체를 가장 낮은 특징 해상도를 갖는 내부 레이어로 이동하고 각 레이어에서 컨볼루션을 잘라내는 것이 성능에 뚜렷한 영향을 미치지 않는다는 것이 입증되었습니다. 달성된 효과는 다음과 같습니다. MobileDiffusion은 원래 22개의 컨볼루션과 16개의 Transformer를 11개의 컨볼루션과 약 12개의 Transformer로 줄이며 이러한 주의는 모두 저해상도 기능 맵에서 수행됩니다. 이에 대한 효율성이 크게 향상되어 효율성이 40% 향상되고 매개변수 전단이 40% 향상됩니다. 최종 모델은 오른쪽에 표시됩니다. 다음은 다른 모델과의 비교입니다.
다시 작성해야 할 내용은 다음과 같습니다. 마이크로 디자인
여기에서는 몇 가지 참신한 디자인만 소개할 예정이며 관심 있는 독자는 본문에서 좀 더 자세히 소개하겠습니다.
Self-Attention과 Cross-Attention을 분리
기존 UNet의 Transformerr에는 Self-Attention과 Cross-Attention이 모두 포함되어 있습니다. MobileDiffusion은 모든 Self-Attention을 최저 해상도 기능 맵에 배치하지만 Cross-Attention In을 유지합니다. 중간 계층에서 이 디자인은 컴퓨팅 효율성을 향상시킬 뿐만 아니라 모델 도면의 품질도 보장하는 것으로 나타났습니다. 기능이 매우 병렬처리가 어렵고 효율성이 낮다. MobileDiffusion에서는 각 데이터 포인트의 활성화에 relu 함수가 더 효율적이기 때문에 Softmax 함수를 relu 함수에 직접 조정(미세 조정)하는 새로운 방법을 제안합니다. 놀랍게도 약 10,000단계의 미세 조정만으로 모델의 지표가 향상되고 생성된 이미지의 품질이 유지되었습니다. 따라서 Softmax 함수와 비교하면 relu 함수의 장점은 확실합니다
Separable Convolution(separable convolution)
MobileDiffuison 매개변수 간소화의 핵심도 Seprable Convolution을 사용하는 것입니다. 이 기술은 MobileNet과 같은 작업, 특히 모바일 측면에서 매우 효과적인 것으로 입증되었지만 일반적으로 생성 모델에서는 거의 사용되지 않습니다. MobileDiffusion 실험에서는 Separable Convolution이 특히 UNet의 가장 안쪽 레이어에 배치될 때 매개변수를 줄이는 데 매우 효과적인 것으로 나타났습니다. 분석을 통해 모델 품질에 손실이 없음이 입증되었습니다.
샘플링 최적화
현재 가장 널리 사용되는 샘플링 최적화 방법에는 각각 8단계와 1단계를 달성할 수 있는 점진적 증류(Progressive Distillation)와 UFOGen이 있습니다. 모델을 극도로 단순화한 후에도 이러한 샘플링 방법이 여전히 효과적이라는 것을 증명하기 위해 MobileDiffusion은 이 두 가지 방법에 대한 실험적 검증을 수행했습니다최적화된 샘플링을 기준 모델과 비교한 결과 8 샘플링 최적화 후 단계 및 1단계 모델 지표가 크게 개선되었습니다
Experiments and Application
Mobile Benchmarks
MobileDiffusion은 iPhone 15 Pro에서 가장 빠르게 실행될 수 있습니다. 현재 플로팅 속도가 0.2초로 빠릅니다!
다운스트림 작업 테스트
요약
MobileDiffusion은 다양한 모델과 샘플링 최적화 방법을 탐색했으며 마침내 모바일 측에서 1초 미만의 이미지 생성 기능을 달성하는 동시에 다운스트림 미세 조정 애플리케이션의 안정성을 보장했습니다. 이는 향후 효율적인 확산 모델 설계에 영향을 미칠 것이며 모바일 애플리케이션에 대한 실제 적용 사례가 확대될 것이라고 믿습니다
위 내용은 Google은 가장 빠른 모바일 확산 모델인 MobileDiffusion을 구축하여 휴대폰에서 이미지를 렌더링합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

젬마 범위로 언어 모델의 내부 작업 탐색 AI 언어 모델의 복잡성을 이해하는 것은 중요한 도전입니다. 포괄적 인 툴킷 인 Gemma Scope의 Google 릴리스는 연구원에게 강력한 강력한 방법을 제공합니다.

비즈니스 성공 잠금 해제 : 비즈니스 인텔리전스 분석가가되는 가이드 원시 데이터를 조직의 성장을 이끌어내는 실행 가능한 통찰력으로 바꾸는 것을 상상해보십시오. 이것은 비즈니스 인텔리전스 (BI) 분석가의 힘 - GU에서 중요한 역할입니다.

SQL의 Alter Table 문 : 데이터베이스에 열을 동적으로 추가 데이터 관리에서 SQL의 적응성이 중요합니다. 데이터베이스 구조를 즉시 조정해야합니까? Alter Table 문은 솔루션입니다. 이 안내서는 Colu를 추가합니다

소개 두 전문가가 중요한 프로젝트에 대해 협력하는 번화 한 사무실을 상상해보십시오. 비즈니스 분석가는 회사의 목표, 개선 영역을 식별하며 시장 동향과의 전략적 조정을 보장합니다. 시무

Excel 데이터 계산 및 분석 : 카운트 및 카운트 기능에 대한 자세한 설명 정확한 데이터 계산 및 분석은 특히 큰 데이터 세트로 작업 할 때 Excel에서 중요합니다. Excel은이를 달성하기위한 다양한 기능을 제공하며, 카운트 및 카운타 기능은 다른 조건에서 셀 수를 계산하기위한 핵심 도구입니다. 두 기능 모두 셀을 계산하는 데 사용되지만 설계 목표는 다른 데이터 유형을 대상으로합니다. Count 및 Counta 기능의 특정 세부 사항을 파고 고유 한 기능과 차이점을 강조하고 데이터 분석에 적용하는 방법을 배우겠습니다. 핵심 포인트 개요 수를 이해하고 쿠션하십시오

Chrome 's AI Revolution : 개인화되고 효율적인 탐색 경험 인공 지능 (AI)은 우리의 일상 생활을 빠르게 변화시키고 있으며 Chrome은 웹 브라우징 경기장에서 요금을 주도하고 있습니다. 이 기사는 흥분을 탐구합니다

재구성 영향 : 4 배의 결론 너무 오랫동안 대화는 AI의 영향에 대한 좁은 견해로 인해 주로 이익의 결론에 중점을 두었습니다. 그러나보다 전체적인 접근 방식은 BU의 상호 연결성을 인식합니다.

상황이 그 시점을 꾸준히 움직이고 있습니다. 양자 서비스 제공 업체와 신생 기업에 쏟아지는 투자는 업계의 중요성을 이해하고 있음을 보여줍니다. 그리고 점점 더 많은 실제 사용 사례가 그 가치를 보여주기 위해 떠오르고 있습니다.


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

에디트플러스 중국어 크랙 버전
작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

SublimeText3 Linux 새 버전
SublimeText3 Linux 최신 버전

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
