휴대폰 및 기타 모바일 장치에서 Stable Diffusion과 같은 대규모 생성 AI 모델을 실행하는 것은 생성 속도가 주요 제약인 업계의 핫스팟 중 하나가 되었습니다.
최근 Google의 논문 "MobileDiffusion: 모바일 기기에서 1초 미만의 텍스트-이미지 생성"이 제안되었으며, 이는 iPhone 15 Pro에서 단 0.2초 밖에 걸리지 않는 모바일 기기에서 가장 빠른 텍스트-이미지 생성을 제안했습니다. 이 논문은 UFOGen과 동일한 팀에서 나온 것입니다. 초소형 확산 모델을 만드는 동시에 샘플링 가속을 위해 현재 널리 사용되는 Diffusion GAN 기술 경로도 채택합니다.
논문을 보려면 다음 링크를 클릭하세요: https://arxiv.org/abs/2311.16567
다음은 MobileDiffusion이 한 단계로 생성한 결과입니다.
그렇다면 MobileDiffusion은 어떻게 최적화되나요?
먼저 문제부터 시작하여 왜 최적화가 필요한지 살펴보겠습니다.
현재 가장 널리 사용되는 텍스트-이미지 생성 기술은 확산 모델을 기반으로 합니다. 사전 훈련된 모델의 강력한 기본 이미지 생성 기능과 다운스트림 미세 조정 작업에 대한 견고성으로 인해 이미지 편집, 제어 가능한 생성, 개인화 생성 및 비디오 생성과 같은 영역에서 확산 모델의 탁월한 성능을 확인했습니다
그러나 기본 모델로서 단점도 뚜렷하며 주로 두 가지 측면을 포함합니다. 첫째, 확산 모델의 매개변수 수가 많으면 계산 속도가 느려지고, 특히 리소스가 제한될 때 확산 모델에는 많은 매개변수가 필요합니다. 샘플링은 여러 단계를 거치므로 추론 속도가 느려집니다. 많이 기대되는 Stable Diffusion 1.5(SD)를 예로 들면, 기본 모델에는 거의 10억 개의 매개변수가 포함되어 있습니다. 모델을 양자화하고 추론을 수행한 경우 iPhone 15 Pro에서 50단계의 샘플링이 80초에 가깝습니다. 이러한 고가의 리소스 요구 사항과 느린 사용자 경험으로 인해 모바일 단말기의 적용 시나리오가 크게 제한됩니다
위의 문제를 해결하기 위해 MobileDiffusion은 지점 간을 최적화합니다. (1) 큰 모델 크기 문제에 대응하여 우리는 주로 계산 비용이 많이 드는 컨볼루션 단순화 및 주의 작업을 하위 계층에 배치하고 다음과 같은 모바일 장치 작업 최적화를 대상으로 하는 등 핵심 구성 요소인 UNet에 대해 많은 실험과 최적화를 수행했습니다. 활성화 기능 등 (2) 확산 모델에는 다단계 샘플링이 필요하다는 문제에 대응하여 MobileDiffusion에서는 Progressive Distillation 및 최신 UFOGen과 같은 1단계 추론 기술을 탐구하고 실습합니다.
모델 최적화
MobileDiffusion은 오늘날 오픈 소스 커뮤니티에서 가장 인기 있는 SD 1.5 UNet을 기반으로 최적화되었습니다. 각 최적화 작업 후에는 원래 UNet 모델과 관련된 성능 손실이 동시에 측정됩니다. 측정 지표에는 일반적으로 사용되는 두 가지 측정항목인 FID와 CLIP이 포함됩니다.
전체 계획
사진의 왼쪽은 원래 UNet의 설계도이며 기본적으로 Convolution과 Transformer가 포함되어 있고 Transformer에는 self- Attention Force 메커니즘과 Cross-Attention 메커니즘
MobileDiffusion의 UNet 최적화에 대한 핵심 아이디어는 두 가지 점으로 나뉩니다. 1) Streamlining Convolution 우리 모두 알고 있듯이 고해상도 기능 공간에 대한 Convolution은 매우 시간이 많이 걸립니다. 매개변수의 수가 많습니다. 여기서는 Full Convolution을 나타냅니다. 2) 주의 효율성 향상. Convolution과 마찬가지로 High Attention은 전체 기능 공간의 길이를 계산해야 합니다. Self-Attention 복잡성은 기능 공간의 평면화된 길이와 정사각형으로 관련되며 Cross-Attention도 공간 길이에 비례합니다.
실험을 통해 UNet의 16개 Transformer 전체를 가장 낮은 특징 해상도를 갖는 내부 레이어로 이동하고 각 레이어에서 컨볼루션을 잘라내는 것이 성능에 뚜렷한 영향을 미치지 않는다는 것이 입증되었습니다. 달성된 효과는 다음과 같습니다. MobileDiffusion은 원래 22개의 컨볼루션과 16개의 Transformer를 11개의 컨볼루션과 약 12개의 Transformer로 줄이며 이러한 주의는 모두 저해상도 기능 맵에서 수행됩니다. 이에 대한 효율성이 크게 향상되어 효율성이 40% 향상되고 매개변수 전단이 40% 향상됩니다. 최종 모델은 오른쪽에 표시됩니다. 다음은 다른 모델과의 비교입니다.
다시 작성해야 할 내용은 다음과 같습니다. 마이크로 디자인
여기에서는 몇 가지 참신한 디자인만 소개할 예정이며 관심 있는 독자는 본문에서 좀 더 자세히 소개하겠습니다.
Self-Attention과 Cross-Attention을 분리
기존 UNet의 Transformerr에는 Self-Attention과 Cross-Attention이 모두 포함되어 있습니다. MobileDiffusion은 모든 Self-Attention을 최저 해상도 기능 맵에 배치하지만 Cross-Attention In을 유지합니다. 중간 계층에서 이 디자인은 컴퓨팅 효율성을 향상시킬 뿐만 아니라 모델 도면의 품질도 보장하는 것으로 나타났습니다. 기능이 매우 병렬처리가 어렵고 효율성이 낮다. MobileDiffusion에서는 각 데이터 포인트의 활성화에 relu 함수가 더 효율적이기 때문에 Softmax 함수를 relu 함수에 직접 조정(미세 조정)하는 새로운 방법을 제안합니다. 놀랍게도 약 10,000단계의 미세 조정만으로 모델의 지표가 향상되고 생성된 이미지의 품질이 유지되었습니다. 따라서 Softmax 함수와 비교하면 relu 함수의 장점은 확실합니다
Separable Convolution(separable convolution)
MobileDiffuison 매개변수 간소화의 핵심도 Seprable Convolution을 사용하는 것입니다. 이 기술은 MobileNet과 같은 작업, 특히 모바일 측면에서 매우 효과적인 것으로 입증되었지만 일반적으로 생성 모델에서는 거의 사용되지 않습니다. MobileDiffusion 실험에서는 Separable Convolution이 특히 UNet의 가장 안쪽 레이어에 배치될 때 매개변수를 줄이는 데 매우 효과적인 것으로 나타났습니다. 분석을 통해 모델 품질에 손실이 없음이 입증되었습니다.
샘플링 최적화
현재 가장 널리 사용되는 샘플링 최적화 방법에는 각각 8단계와 1단계를 달성할 수 있는 점진적 증류(Progressive Distillation)와 UFOGen이 있습니다. 모델을 극도로 단순화한 후에도 이러한 샘플링 방법이 여전히 효과적이라는 것을 증명하기 위해 MobileDiffusion은 이 두 가지 방법에 대한 실험적 검증을 수행했습니다최적화된 샘플링을 기준 모델과 비교한 결과 8 샘플링 최적화 후 단계 및 1단계 모델 지표가 크게 개선되었습니다
Experiments and Application
Mobile Benchmarks
MobileDiffusion은 iPhone 15 Pro에서 가장 빠르게 실행될 수 있습니다. 현재 플로팅 속도가 0.2초로 빠릅니다!
다운스트림 작업 테스트
요약
MobileDiffusion은 다양한 모델과 샘플링 최적화 방법을 탐색했으며 마침내 모바일 측에서 1초 미만의 이미지 생성 기능을 달성하는 동시에 다운스트림 미세 조정 애플리케이션의 안정성을 보장했습니다. 이는 향후 효율적인 확산 모델 설계에 영향을 미칠 것이며 모바일 애플리케이션에 대한 실제 적용 사례가 확대될 것이라고 믿습니다
위 내용은 Google은 가장 빠른 모바일 확산 모델인 MobileDiffusion을 구축하여 휴대폰에서 이미지를 렌더링합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

ON-DEVICE AI의 힘을 활용 : 개인 챗봇 CLI 구축 최근에 개인 AI 조수의 개념은 공상 과학처럼 보였다. 기술 애호가 인 Alex, 똑똑하고 현지 AI 동반자를 꿈꾸는 것을 상상해보십시오.

AI4MH의 첫 출시는 2025 년 4 월 15 일에 열렸으며, 유명한 정신과 의사이자 신경 과학자 인 Luminary Dr. Tom Insel 박사는 킥오프 스피커 역할을했습니다. Insel 박사는 정신 건강 연구 및 테크노에서 뛰어난 작업으로 유명합니다.

Engelbert는 "WNBA가 모든 사람, 플레이어, 팬 및 기업 파트너가 안전하고 가치가 있으며 권한을 부여받는 공간으로 남아 있기를 원합니다. 아노

소개 Python은 특히 데이터 과학 및 생성 AI에서 프로그래밍 언어로 탁월합니다. 대규모 데이터 세트를 처리 할 때 효율적인 데이터 조작 (저장, 관리 및 액세스)이 중요합니다. 우리는 이전에 숫자와 st를 다루었습니다

다이빙하기 전에 중요한 경고 : AI 성능은 비 결정적이며 고도로 사용하는 것이 중요합니다. 간단히 말하면 마일리지는 다를 수 있습니다. 이 기사 (또는 다른) 기사를 최종 단어로 취하지 마십시오. 대신 에이 모델을 자신의 시나리오에서 테스트하십시오.

뛰어난 AI/ML 포트폴리오 구축 : 초보자 및 전문가를위한 안내서 인공 지능 (AI) 및 머신 러닝 (ML)의 역할을 확보하는 데 강력한 포트폴리오를 만드는 것이 중요합니다. 이 안내서는 포트폴리오 구축에 대한 조언을 제공합니다

결과? 소진, 비 효율성 및 탐지와 동작 사이의 넓은 차이. 이 중 어느 것도 사이버 보안에서 일하는 사람에게는 충격이되지 않습니다. 그러나 에이전트 AI의 약속은 잠재적 인 전환점으로 부상했다. 이 새로운 수업

장기 파트너십 대 즉각적인 영향? 2 주 전 Openai는 2025 년 5 월 말까지 미국과 캐나다 대학생들에게 Chatgpt Plus에 무료로 이용할 수있는 강력한 단기 제안으로 발전했습니다.


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

SecList
SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

Atom Editor Mac 버전 다운로드
가장 인기 있는 오픈 소스 편집기

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.
