오픈 소스 모델과 단일 카드 교육은 널리 사용되는 텍스트 안내 오디오 생성 기술인 AudioLDM을 이해하는 데 도움이 됩니다.

텍스트가 주어지면 인공지능은 음악, 음성, 다양한 음향 효과는 물론 블랙홀, 레이저 총과 같은 상상의 소리까지 생성할 수 있습니다. 최근 서리대학교(University of Surrey)와 임페리얼 칼리지 런던(Imperial College London)이 공동으로 출시한 AudioLDM은 출시 후 일주일 만에 트위터에서 약 300개의 리트윗과 1,500개의 좋아요를 받았습니다. 모델이 오픈 소스로 공개된 지 이틀 만에 AudioLDM은 Hugging Face 핫 검색 목록의 상위권에 돌진했고, 일주일 이내에 Hugging Face의 가장 인기 있는 애플리케이션 목록 상위 40개(총 약 25,000개)에 진입했으며 많은 앱에 빠르게 등장했습니다. AudioLDM을 기반으로 한 파생 작업입니다.

AudioLDM 모델의 주요 특징은 다음과 같습니다.

• 텍스트에서 음악, 음성 및 음향 효과를 동시에 생성할 수 있는 최초의 오픈 소스 모델입니다.
• 학계에서 개발한 이 제품은 더 적은 데이터, 단일 GPU, 더 작은 모델을 사용하여 현재 최상의 결과를 얻습니다.
• 텍스트 안내 오디오 생성이 더 이상 (텍스트-오디오) 데이터 쌍 누락 문제로 인해 제한되지 않도록 생성 모델을 자체 감독 방식으로 훈련할 것을 제안합니다.
• 모델은 추가 교육(제로샷) 없이 오디오 스타일 전송, 오디오 누락 채우기 및 오디오 초해상도를 달성할 수 있습니다.

• 프로젝트 홈페이지: https://audioldm.github.io/
• 페이퍼: https://arxiv.org/abs/2301.12503
• 오픈 소스 코드 및 모델: https://github.com/haoheliu/AudioLDM
• 허깅 페이스 스페이스: https://huggingface.co/spaces/haoheliu/audioldm-text-to-audio- Generation

작가는 1월 27일에 모델의 미리보기를 처음 공개했으며, "A music made by []"([]에서 생성된 음악 조각)라는 매우 간단한 텍스트를 보여주어 다양한 음향 효과를 생성했습니다. 다양한 악기와 심지어 모기까지 사용하여 만든 음악을 보여주는 이 동영상은 트위터에서 빠르게 관심을 끌었으며 35,400회 이상 재생되고 130회 이상 리트윗되었습니다.

그런 다음 저자는 논문과 새 영상을 공개했습니다. 이 비디오에서 저자는 모델의 기능 대부분과 ChatGPT를 사용하여 사운드를 생성하는 효과를 보여줍니다. AudioLDM은 우주 공간에서도 소리를 생성할 수 있습니다.

그런 다음 저자는 논문, 사전 훈련된 모델, 플레이 가능한 인터페이스를 공개하여 트위터 네티즌들의 열광을 불러일으켰고 다음 날 Hugging Face 인기 검색 목록에서 빠르게 1위를 차지했습니다.

이 작품은 트위터에서 폭넓은 관심을 받았고, 업계 학자들은 다음과 같이 전달하고 댓글을 달았습니다.

네티즌들은 AudioLDM을 사용하여 다양한 사운드를 생성했습니다.

예를 들어 2차원 고양이 소녀의 코 고는 소리:

과 유령 소리:

이 생성됩니다.

일부 네티즌들은 "엄마 목소리, 저주파, 고통스러운 신음 소리"라고 합성했습니다.

일부 네티즌들은 '멜로디 방귀소리'까지 합성하기도 했습니다.

네티즌들의 풍부한 상상력에 감탄하고 싶습니다.

일부 네티즌들은 AudioLDM을 직접 사용하여 재즈, 펑크, 일렉트로닉, 클래식 등 다양한 스타일의 음악 앨범 시리즈를 생성했습니다. 일부 음악은 매우 독창적입니다.

예: "우주와 달을 테마로 한 주변 음악 만들기":

및 "미래의 소리를 사용하여 음악 만들기":

관심 있는 독자는 이 음악 앨범 웹사이트를 방문할 수 있습니다: https://www.latent.store/albums

일부 네티즌들은 상상력을 사용하여 이미지 생성 텍스트를 결합하여 이미지 유도 음향 효과 생성 애플리케이션을 만들었습니다. 모델 및 AudioLDM.

예를 들어, AudioLDM에 다음 텍스트를 제공하는 경우: "프리스비를 물고 물 속에서 달리는 개"(입에 프리스비를 물고 물속을 달리는 개):

can 개들이 물을 찰싹 때리는 소리는 다음과 같습니다.

아래 그림과 같이 오래된 사진의 소리를 복원할 수도 있습니다.

"술집에 앉아 있는 남자와 여자"(바에 앉아 있는 남자와 여자)를 얻은 후 a bar) ) 텍스트를 입력하면 모델은 다음과 같은 소리를 생성할 수 있습니다. 여기서 모호한 목소리와 배경에서 와인 잔이 부딪히는 소리를 들을 수 있습니다.

일부 네티즌들은 AudioLDM을 사용하여 불타는 개 소리를 생성했는데 매우 흥미롭습니다.

저자는 또한 모델의 음향 효과 생성 능력을 보여주는 비디오를 제작하여 AudioLDM에서 생성된 샘플이 음향 효과 라이브러리의 효과에 얼마나 가까운지 보여주었습니다.

사실 텍스트 오디오 생성은 AudioLDM 기능의 일부일 뿐입니다. AudioLDM은 음색 변환, 누락 채우기 및 초해상도도 달성할 수 있습니다.

아래 두 사진은 (1) 타악기에서 주변 음악으로, (2) 트럼펫에서 어린이 노래로의 음색 전환을 보여줍니다.

아래는 주변 음악에 대한 타악기의 효과입니다(점진적 변환 강도).

트럼펫 소리를 어린이 노래 소리로 변환하는 효과(점진적 변환 강도).

아래에서는 오디오 초해상도, 오디오 누락 채우기 및 음향 자료 제어에 대한 모델의 효과를 보여줍니다. 기사의 길이가 제한되어 있기 때문에 오디오는 주로 스펙트로그램 형태로 표시됩니다. 관심 있는 독자는 AudioLDM 프로젝트 홈페이지(https://audioldm.github.io/

)를 방문하세요.

오디오 초해상도 측면에서 AudioLDM의 효과도 매우 좋습니다. 이전 초해상도 모델에 비해 AudioLDM은 보편적인 초해상도 모델이며 음악 및 음성 처리에만 국한되지 않습니다.

오디오 누락 채우기 측면에서 AudioLDM은 주어진 텍스트에 따라 다양한 오디오 콘텐츠를 채울 수 있으며 경계에서의 전환이 더 자연스럽습니다.

또한 AudioLDM은 음향 환경, 음악의 분위기와 속도, 객체 재질, 피치 피치 및 시퀀스 등을 제어하는 ​​​​능력 등 강력한 제어 기능도 보여줍니다. 관심 있는 독자는 AudioLDM의 논문이나 프로젝트를 확인하세요. 볼 수 있는 홈페이지.

기사에서 저자는 AudioLDM 모델에 대한 주관적 점수와 객관적 지표 평가를 실시했으며 그 결과 이전 최적 모델을 크게 뛰어넘을 수 있음을 보여주었습니다.

그 중 AudioGen은 은 Facebook의 2022년 10월 제안 모델은 10개의 데이터 세트, 64개의 GPU 및 285MB의 매개 변수를 사용합니다. 이에 비해 AudioLDM-S는 단일 데이터 세트, 1개의 GPU 및 181MB의 매개변수를 사용하여 더 나은 결과를 얻을 수 있습니다.

주관적 점수 또한 AudioLDM이 이전 솔루션인 DiffSound보다 훨씬 우수하다는 것을 보여줍니다. 그렇다면 AudioLDM은 어떤 개선을 통해 모델이 이렇게 뛰어난 성능을 갖게 되었을까요?

우선, 텍스트-오디오 데이터 쌍이 너무 적은 문제를 해결하기 위해 저자는 AudioLDM을 훈련하는 자기 지도 방법을 제안했습니다.

특히 핵심 모듈 LDM을 교육할 때 저자는 오디오 자체의 임베딩을 LDM의 조건 신호로 사용합니다(그림 참조). 위 그림). 이 체계는 원본 CLAP 텍스트에서 우수한 일반화 기능을 입증한 사전 훈련된 오디오 텍스트 대조 학습 인코더(CLAP) 쌍을 기반으로 합니다. AudioLDM은 CLAP의 탁월한 일반화 기능을 활용하여 텍스트 레이블 없이도 대규모 오디오 데이터에 대한 모델 교육을 수행합니다.

사실 저자는 오디오 트레이닝만 사용하는 것이 오디오-텍스트 데이터 쌍을 사용하는 것보다 훨씬 낫다는 사실을 발견했습니다.

저자는 두 가지 이유를 분석했습니다. (1) 텍스트 주석 자체가 어렵습니다. 오디오 포함 음향 환경, 주파수 분포 등과 같은 모든 정보로 인해 텍스트가 삽입되어 오디오를 제대로 표현할 수 없습니다. (2) 텍스트 자체의 품질이 완벽하지 않습니다. Annotation "Boats: Battleships - 5.25 Conveyor space" 이런 종류의 Annotation은 인간조차 구체적인 소리가 무엇인지 상상하기 어려워 모델 훈련에 문제를 일으킨다. 반면, 오디오 자체를 LDM의 조건으로 사용하면 대상 오디오와 조건 간의 강한 상관 관계를 보장하여 더 나은 생성 결과를 얻을 수 있습니다.

또한 저자가 채택한 Latent Diffusion 솔루션을 사용하면 더 작은 공간에서 Diffusion 모델을 계산할 수 있으므로 모델에 필요한 컴퓨팅 파워가 크게 줄어듭니다.

모델 교육 및 구조에 대한 많은 세부 탐색도 AudioLDM이 탁월한 성능을 달성하는 데 도움이 됩니다.

저자는 두 가지 주요 다운스트림 작업을 소개하기 위해 간단한 구조 다이어그램도 그렸습니다.

저자는 또한 다양한 모델 구조, 모델 크기, DDIM 샘플링 단계 및 다양한 분류기가 없는 안내 척도에 대한 자세한 실험을 수행했습니다.

저자는 모델을 공개하면서 향후 이러한 문제에 대한 학계의 평가 방법을 통일하여 논문 간 비교를 용이하게 하기 위해 생성 모델 평가 시스템의 코드 베이스도 공개했습니다. 다음 링크 매체: https://github.com/haoheliu/audioldm_eval

이 기술이 대중화되는 동안 일부 네티즌들도 이 기술의 보안에 의문을 제기했습니다.

저작자 팀에서는 해당 모델이 학문적 의사소통에만 사용될 수 있도록 해당 모델의 사용, 특히 상업적 이용을 제한하고, 윤리적 문제가 발생하지 않도록 적절한 LICENSE 및 워터마크 보호를 사용할 것이라고 밝혔습니다.

저자 정보

이 논문의 공동 저자는 Liu Haohe(영국 서리 대학교)와 Chen Zehua(영국 임페리얼 칼리지 런던)입니다.

Liu Haohe는 현재 영국 서리 대학교에서 Mark D. Plumbley 교수 밑에서 박사 학위를 취득하고 있습니다. 오픈 소스 프로젝트는 GitHub에서 수천 개의 별을 받았습니다. 그는 주요 학술 회의에서 20편 이상의 논문을 발표했으며 여러 세계 기계 음향 대회에서 상위 3위를 차지했습니다. 기업계에서는 Microsoft, ByteDance, British Broadcasting Corporation 등과 광범위한 협력 관계를 맺고 있습니다. 개인 홈페이지: https://www.surrey.ac.uk/people/haohe-liu

Chen Zehua는 Imperial College London의 박사 과정 학생으로 Danilo Mandic 교수 밑에서 공부하고 있습니다. 그는 Microsoft 음성 합성 연구 그룹과 JD 인공 지능 연구소에서 인턴으로 근무했습니다. 그의 연구 관심 분야는 생성 모델, 음성 합성 및 생체 전기 신호 생성입니다.

위 내용은 오픈 소스 모델과 단일 카드 교육은 널리 사용되는 텍스트 안내 오디오 생성 기술인 AudioLDM을 이해하는 데 도움이 됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!