Meitu AI 부분 다시 그리기 기술 공개! 원하는 대로 변경하세요! 아름다운 그림을 부분적으로 다시 그리면 원하는 것은 무엇이든 할 수 있습니다.

최근 'AI 이미지 확대' 기능이 갑작스러운 확대 효과로 화제를 모았고, 재미있고 흥미로운 자동 완성 결과가 자주 인기를 끌며 인터넷에서 열풍을 일으켰습니다. 유저들은 이 기능을 적극적으로 시도했고, 180도 달라진 엄청난 변신도 감탄을 자아내며 화제성은 계속해서 상승했다.

웃음과 열광을 불러일으키는 동시에, AI가 실제로 현실 문제를 해결하고 사용자 경험을 개선하는 데 실제로 도움이 될 수 있는지 사람들이 끊임없이 관심을 갖고 있다는 의미이기도 합니다. AIGC 기술의 급속한 발전으로 AI 응용 시나리오 구현이 가속화되고 있으며 이는 새로운 생산성 혁명을 가져올 것임을 나타냅니다.

최근 Meitu의 WHEE 및 기타 제품은 간단한 프롬프트 입력으로 이미지를 수정하고, 화면 요소를 제거하고, 편리한 조작과 놀라운 효과로 마음대로 화면을 확장할 수 있는 AI 이미지 확대 및 AI 이미지 수정 기능을 출시했습니다. 도구 사용의 한계를 극복하고 사용자에게 효율적이고 고품질의 이미지 생성 경험을 제공합니다.

MiracleVision(MiracleVision)은 교체 효과 전

MiracleVision(MiracleVision) 교체 효과 후

MiracleVision(MiracleVision)

Miracle Vision AI 수정 그림 효과

원하는 대로 이미지를 편집할 수 있는 강력한 모델 기능

Meitu AI 로컬 다시 그리기 모델은 확산 모델 기술을 기반으로 완벽한 인페인트 및 아웃페인트 모델 프레임워크를 구축하여 내부 영역을 다시 그리고 전경 대상을 제거하며 외부 영역 확장 및 기타 작업을 제거합니다. 해결을 위해 동일한 솔루션으로 통합되고 일부 특정 효과 문제에 대해 특별한 최적화 설계가 이루어집니다.

MiracleVision 모델은 첫 번째 컨볼루션 레이어를 변환하고 전체 unet을 미세 조정하여 inpaint 작업에 적용할 수 있지만 이를 위해서는 훈련 데이터에서 unet의 원래 가중치를 수정해야 합니다. 모델 성능 저하로 이어집니다.

따라서 MiracleVision의 기존 생성 기능을 최대한 활용하기 위해 팀에서는 부분 다시 그리기 모델에서 MiracleVision의 unet 모델을 직접 미세 조정하지 않고 컨트롤넷 방식을 사용하여 마스크 입력 분기를 추가합니다. 제어.

동시에 훈련 비용을 절약하고 추론 속도를 높이기 위해 압축된 컨트롤넷 모듈을 훈련에 사용하여 계산량을 최대한 줄입니다. 훈련 과정에서 unet 모델의 매개변수는 고정되고 controlnet 모듈만 업데이트되어 결국 전체 모델이 인페인트 기능을 얻을 수 있게 됩니다.

Meitu AI는 모델 아키텍처 다이어그램을 부분적으로 다시 그립니다.

outpaint 작업은 자르기 작업의 반대 작업입니다. 자르기 작업은 이미지 경계를 따라 원본 이미지를 자르고 필요한 부분만 유지하는 것입니다. 이는 이미지 콘텐츠의 빼기 작업인 반면, 외부 작업은 모델의 생성 기능을 사용하여 이미지 경계를 따라 바깥쪽으로 확장하는 것입니다. 원래 존재하지 않는 콘텐츠를 추출하는 것은 이미지 콘텐츠를 추가하는 작업이다.

기본적으로 아웃페인트 작업은 마스크 영역이 이미지 주변에 위치한다는 점을 제외하면 특별한 인페인트 작업으로 간주될 수도 있습니다.

MiracleVision AI 이미지 확장 효과

아웃페인트 작업의 마스크 영역은 이미지 내부에서만 안내 정보를 얻을 수 있기 때문에 다른 방향은 이미지 경계이므로 생성되는 콘텐츠가 더 독특해집니다. 무작위성이 더 많아질 것입니다. 다른. 이미지 주변의 빈 영역을 채우고 그림 확장의 정확성을 보장하기 위해 팀은 장면 인식 알고리즘을 사용하여 이미지 스타일과 내용을 추론하고 이미지 내용의 상관 관계를 최대한 활용하여 복사했습니다. 확장된 가장자리에서 미러링하여 원본 이미지의 픽셀을 중첩하고 모델에 적합한 초기 사전을 제공하여 생성된 콘텐츠의 합리성을 보장하고 경계 전환을 더 부드럽게 만듭니다.

다양한 훈련 전략을 통해 객체의 생성과 소멸을 자유롭게 제어

일반 확산 모델은 인페인트 작업을 수행할 때 제거하는 것보다 교체하는 것이 더 좋습니다. 특정 대상을 제거해야 할 때 모델은 원래 존재하지 않는 마스크 영역에 새로운 전경 대상을 쉽게 그릴 수 있습니다. 특히 ​​마스크 영역이 넓습니다. 이 현상은 이러한 대상이 프롬프트에 나타나지 않더라도 대상이 상대적으로 클 때 특히 두드러집니다. 그 이유는 주로 다음 세 가지 측면에서 비롯됩니다.

1. 훈련 세트의 프롬프트는 일반적으로 이미지에 있는 내용만 설명하고 이미지에 없는 내용은 설명하지 않습니다. 따라서 훈련된 모델은 특정 타겟팅을 생성할 수 있습니다. 쉽지만 목표를 생성하지 못하게 하는 것은 어렵습니다. Classifier-Free Guidance 전략을 사용하더라도 원치 않는 개체를 부정적인 단어에 추가하여 이 대상의 생성을 억제할 수 있지만 가능한 모든 대상을 부정적인 단어에 쓰는 것은 불가능하므로 모델은 여전히 ​​일부 예상치 못한 대상을 생성하는 경향이 있습니다.

2. 훈련 데이터의 분포를 보면, 대규모 이미지 훈련 세트의 대부분의 이미지가 전경과 배경으로 구성되어 있기 때문에 순수 배경 이미지의 비율이 상대적으로 적다는 것을 의미합니다. 훈련 중에 잠재적인 규칙을 학습했습니다. 즉, 이미지에 특정 대상 전경이 있을 가능성이 높으며(프롬프트에 언급되지 않은 경우에도) 이로 인해 인페인트 작업을 수행할 때 모델이 실패하게 됩니다. 훈련 중에 출력 이미지가 분포에 더 가까워지도록 마스크 영역에서 무언가를 생성하려는 경향이 더 큽니다. 지침 이 조건에서 모델은 마스크 영역의 새 고양이를 고양이 모양으로 채우려는 경향이 더 강해 제거 작업이 실패하게 됩니다.

MiracleVision이 타겟 생성 및 타겟 제거 기능을 모두 갖출 수 있도록 팀은 멀티 태스크 트레이닝 전략을 채택했습니다.

1 트레이닝 단계에서 마스크 영역이 텍스처가 적은 순수한 배경 영역에 있을 때, 특정 프롬프트 키워드를 트리거 가이드 단어로 추가하고, 모델 추론 단계에서 이 키워드를 프롬프트 임베딩에 대한 전방 가이드 단어로 추가하여 모델이 더 많은 배경 영역을 생성하도록 유도합니다.

2. 순수한 배경 이미지는 전체 훈련 세트에서 상대적으로 작은 비율을 차지하므로 훈련에 대한 기여도를 높이기 위해 각 훈련 배치에서 일정 비율의 배경 이미지를 수동으로 샘플링하여 훈련에 추가합니다. 배경 이미지가 훈련 샘플에 포함되어 전체 비율이 안정적으로 유지됩니다.

3. 마스크 모양에 대한 모델의 의미론적 의존성을 줄이기 위해 훈련 단계에서 다양한 모양의 다양한 마스크가 무작위로 생성되어 마스크 모양의 다양성이 늘어납니다.

고정밀 텍스처 생성, 더욱 자연스러운 융합

훈련 세트의 고화질 텍스처 데이터는 전체 훈련 데이터 중 작은 부분만을 차지하기 때문에 inpaint 작업을 수행할 때 텍스처가 매우 풍부한 결과는 일반적으로 생성되지 않아 원본이 생성됩니다. 이미지 질감이 풍부한 장면에서는 부자연스러운 융합과 경계감을 느끼기 쉽습니다.

이 문제를 해결하기 위해 팀에서는 자체 개발한 텍스처 디테일 모델을 가이드 모델로 사용하여 MiracleVision이 생성 품질을 향상하고 과적합을 억제하며 생성된 영역과 다른 영역 간의 관계를 만드는 데 도움을 주었습니다. 원본 이미지가 더 잘 맞습니다.

원본 이미지 vs 텍스처 디테일이 추가되지 않은 vs.MiracleVision 확대 이미지 효과

더 빠르고, 더 나은 효과, 더 효율적인 상호작용!

확산 모델 솔루션은 일반적으로 추론 중에 다단계 역확산 프로세스가 필요하므로 단일 이미지를 처리하는 데 시간이 너무 오래 걸립니다. 생성 품질을 유지하면서 사용자 경험을 최적화하기 위해 Meitu Imaging Research Institute(MT Lab) 팀은 AI 부분 다시 그리기 기술을 위한 특수 튜닝 솔루션을 만들어 궁극적으로 성능과 효과 간의 최상의 균형을 달성했습니다.

먼저 MiracleVision의 전/후 처리 및 추론 과정에서 다수의 행렬 계산을 병렬 컴퓨팅을 위해 GPU에 최대한 이식함으로써 계산 속도를 효과적으로 높이고 부하를 줄입니다. CPU. 동시에 그림을 조립하는 과정에서 레이어를 최대한 융합하고 FlashAttention을 사용하여 비디오 메모리 사용량을 줄이고 추론 성능을 향상하며 커널 구현을 조정하여 다양한 NVIDIA 그래픽에 대한 GPU 컴퓨팅 성능 사용을 최대화합니다. 카드.

또한 자체 개발한 모델 매개변수 정량화 방법을 사용하여 MiracleVision은 명백한 정확도 손실 없이 8비트로 양자화됩니다. GPU 그래픽 카드마다 8비트 양자화에 대한 지원이 다르기 때문에 우리는 다양한 서버 리소스 환경에서 최적의 연산자를 적응적으로 선택하는 혼합 정밀도 전략을 혁신적으로 채택하여 전체 가속을 위한 최적의 솔루션을 달성합니다.

해상도가 높은 사용자 입력 이미지의 경우, 서버 리소스 및 시간 비용의 한계로 인해 원본 해상도로 직접 추론하기는 어렵습니다. 이에 대해 연구팀은 먼저 이미지 해상도를 적당한 크기로 압축한 후 MiracleVision을 기반으로 추론을 수행한 후 초해상도 알고리즘을 사용하여 이미지를 원래 해상도로 복원한 후 원본 이미지와 이미지 융합을 수행했으며, 이를 통해 추론 과정에서 선명한 이미지를 생성하고 메모리 사용량과 실행 시간을 절약합니다.

Meitu는 AI를 활용한 새로운 모바일 이미지 편집 경험을 만들기 위해 삼성과 심층 협력을 맺었습니다

삼성전자는 지난 1월 25일 중국에서 갤럭시 S24 시리즈 신제품 출시 컨퍼런스를 열었습니다. Meitu는 Samsung의 새로운 Galaxy S24 시리즈 휴대폰 앨범을 위한 새로운 AI 이미지 편집 경험을 만들기 위해 Samsung과의 협력을 심화했습니다. Meitu Imaging Research Institute(MT Lab)가 독자적으로 개발한 생성 편집 기능도 AI 이미지 확장 및 AI 이미지 수정 기능입니다. 모바일 이미지 편집 및 제작을 위한 새로운 공간을 열기 위해 공식적으로 출시되었습니다.

AI 이미지 편집 기능을 통해 사용자는 편집하려는 이미지를 길게 누르는 것만으로 이미지를 쉽게 이동, 삭제, 크기 조정할 수 있습니다. 또한, 사진의 수평선이 수직이 아닌 경우, AI 이미지 확장 기능을 통해 사진에서 누락된 부분을 지능적으로 채워주고, 사용자가 각도를 조정한 후 사진의 구도를 수정할 수 있다.

MiracleVision이 제공하는 AI 기능을 기반으로 Meitu는 사용자가 휴대폰에서 전문가 수준의 편집 효과를 쉽게 달성하고 더욱 개인화된 사진 작품을 만들 수 있도록 도울 뿐만 아니라 휴대폰 업계 전체에서 AI를 지속적으로 홍보하고 향상시킬 것입니다. . 이미지 처리 기능.

Meitu Imaging Research Institute(MT Lab)의 강력한 기술 역량을 바탕으로 MiracleVision은 반년도 안 되어 버전 4.0으로 반복되었습니다. 앞으로도 Meitu는 전자상거래, 광고, 게임 및 기타 산업에서 사용자 경험을 개선하고 다양한 시나리오의 실무자가 작업 흐름 효율성을 향상하도록 돕기 위해 계속 노력할 것입니다.

위 내용은 Meitu AI 부분 다시 그리기 기술 공개! 원하는 대로 변경하세요! 아름다운 그림을 부분적으로 다시 그리면 원하는 것은 무엇이든 할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!