Wav2vec 2.0 [1], HuBERT [2] 및 WavLM [3] 및 기타 음성 사전 훈련 모델은 수만 시간의 레이블이 지정되지 않은 음성 데이터(예: Libri-light)에 대한 자기 지도 학습을 통해 크게 개선되었습니다. ASR(자동 음성 인식), TTS(텍스트 음성 변환) 및 VC(음성 대화)와 같은 음성 다운스트림 작업의 성능이 향상되었습니다. 그러나 이러한 모델에는 공개 중국어 버전이 없으므로 중국어 음성 연구 시나리오에 적용하기가 어렵습니다.
WenetSpeech[4]는 NPU(ASLP@NPU)의 오디오, 음성 및 언어 처리 연구 그룹, Mobvoi 및 Hillshell이 공동으로 발표한 10,000시간 이상의 다중 도메인 음성 데이터 세트입니다. 중국어 음성 사전 훈련 모델의 공백을 메우기 위해 WenetSpeech 10,000시간 데이터 교육을 기반으로 중국어 버전 Wav2vec 2.0 및 HuBERT 모델을 오픈 소스화했습니다.
사전 훈련된 모델의 성능을 검증하기 위해 ASR 작업에서 검증했습니다. 실험 결과에 따르면 100시간의 지도 데이터를 사용한 ASR 작업에서 사전 훈련 모델로 학습한 음성 표현은 기존 음향 FBank 기능에 비해 상당한 성능 향상을 보였습니다. 단 100시간의 지도 데이터로도 얻을 수 있습니다. 1000시간의 감독 데이터 비교 결과.
모델 링크: https://github.com/TencentGameMate/chinese_speech_pretrain
모델 소개
Wav2vec 2.0 모델
그림 1: c 2.0 모델 구조(Baevski et al , 2020)
Wav2vec 2.0[1]은 Meta에서 2020년에 출시한 비지도 음성 사전 훈련 모델입니다. 핵심 아이디어는 벡터 양자화(VQ)를 통해 자체 구성 지도 학습 목표를 구성하고 입력을 대량으로 마스크한 다음 대조 학습 손실 함수를 학습에 사용하는 것입니다. 모델 구조는 위의 그림 1에 나와 있습니다. CNN(Convolutational Neural Network)을 기반으로 하는 특징 추출기는 원본 오디오를 일련의 프레임 특징으로 인코딩하고, VQ 모듈을 통해 각 프레임 특징을 이산 특징 Q로 변환합니다. 자기 감독 대상으로 사용됩니다. 동시에, 프레임 특징 시퀀스는 마스킹 작업을 거친 후 Transformer [5] 모델에 들어가 컨텍스트 표현 C를 얻습니다. 마지막으로 대조 학습 손실 함수를 통해 마스크 위치의 컨텍스트 표현과 해당 이산 특징 q 사이의 거리, 즉 양성 샘플 쌍이 단축됩니다. 원본 논문에서 Wav2vec 2.0 BASE 모델은 12층 Transformer 구조를 사용하고 1,000시간의 LibriSpeech 데이터로 훈련되었습니다. LARGE 모델은 24층 Transformer 구조를 사용하고 60,000시간의 Libri-light 데이터로 훈련되었습니다. 훈련 시간 측면에서 보면 BASE 모델은 64개의 V100 그래픽 카드를 사용하여 1.6일 동안 훈련하고, LARGE 모델은 128개의 V100 그래픽 카드를 사용하여 5일 동안 훈련합니다. 다운스트림 ASR 평가에서 단 10분의 지도 데이터를 사용해도 시스템은 여전히 4.8의 WER(Word Error Rate) 결과를 달성했습니다.
HuBERT 모델
그림 2: HuBERT 모델 구조(Hsu et al., 2021)
HuBERT[2]는 2021년 Meta에서 발표한 모델이며, 모델 구조는 Wav2ve c 2.0과 유사하지만 차이점은 훈련 방법입니다. Wav2vec 2.0은 훈련 중에 음성 특징을 자체 감독 대상으로 이산화하는 반면, HuBERT는 MFCC 특징 또는 HuBERT 특징에 대해 K-평균 클러스터링을 수행하여 훈련 목표를 얻습니다. HuBERT 모델은 BASE 모델의 첫 번째 반복에서는 MFCC 특징에 대한 클러스터링을 수행하고, 두 번째 반복에서는 첫 번째 반복에서 얻은 HuBERT 모델의 중간 계층 특징에 대해 클러스터링을 수행합니다. BASE 모델의 두 번째 반복은 클러스터링을 위한 특징을 추출합니다. 원본 논문의 실험 결과로 판단하면, HuBERT 모델은 Wav2vec 2.0보다 우수하며, 특히 다운스트림 작업에 1시간 또는 10분과 같이 지도 학습 데이터가 거의 없는 경우 더욱 그렇습니다.
중국어 사전 훈련 모델
실험 구성WenetSpeech[4] train_l의 10,000시간 분량의 중국어 데이터를 비지도 사전 훈련 데이터로 설정하여 사용합니다. 데이터는 주로 YouTube 및 Podcast에서 제공되며 다양한 유형의 녹음 장면, 배경 소음, 말하는 스타일 등을 다루고 있습니다. 해당 분야에는 주로 오디오북, 내레이션, 다큐멘터리, TV 시리즈, 인터뷰, 뉴스, 낭독, 연설, 버라이어티 쇼 등이 포함됩니다. 등 10개의 주요 장면. 우리는 [1, 2]의 모델 구성에 따라 Fairseq 툴킷[6]을 기반으로 각각 Wav2vec 2.0 및 HuBERT 모델을 훈련했으며, 각 사전 훈련된 모델 모델에는 BASE와 LARGE의 두 가지 크기가 포함되어 있습니다. BASE 모델의 경우 8개의 A100 그래픽 카드를 사용하고, 그래디언트 누적은 8이며, 훈련을 위해 64개의 그래픽 카드를 시뮬레이션합니다. LARGE 모델의 경우 그라디언트 누적이 8인 16개의 A100 그래픽 카드를 사용하여 훈련을 위해 128개의 그래픽 카드를 시뮬레이션했습니다.
다운스트림 음성 인식 작업 검증 다운스트림 ASR 작업에 대한 사전 훈련된 모델의 효과를 확인하기 위해 ESPnet [7,8,9] 툴킷의 Conformer [10] 모델 실험 구성을 따릅니다. 즉, 사전 훈련된 모델이 다음과 같이 사용됩니다. 특징 추출기는 입력 음성 추출 사전 훈련 모델의 숨겨진 레이어 표현의 가중치 합산을 수행하고, 결과 음성 표현은 기존 FBank 특징을 입력으로 대체합니다. Conformer ASR 모델.
- Aishell Dataset
Aishell 178시간 학습 세트를 학습용 지도 데이터로 사용하여 각각 FBank 기능, Wav2vec 2.0 BASE/LARGE 모델 기능, HuBERT BASE/LARGE 모델 기능을 사용한 단어를 비교했습니다. CER(문자 오류율) 결과. 동시에 훈련을 위해 10,000시간의 중국어 데이터로 구성된 WenetSpeech train_l 세트를 사용할 때 Aishell 테스트 세트에 미치는 영향을 추가로 비교했습니다. 학습 데이터는 가변 속도(0.9, 1.0, 1.1배)와 SpecAugment 데이터 증대 기술을 사용하고, 디코딩 방법은 빔 검색이며, 재채점에는 Transformer 기반 언어 모델이 사용됩니다.
표 1: Aishell 테스트 세트에서 다양한 모델의 단어 오류율(CER%) 결과
수만 개를 결합하여 표 1의 결과에서 볼 수 있듯이 훈련된 사전 훈련 모델과 다운스트림 ASR 작업 효과가 크게 향상되었습니다. 특히 HuBERT LARGE 모델을 사용한 경우 테스트 세트에서 CER이 상대적으로 약 30% 향상되어 178시간의 지도 학습 데이터에서 업계 최고의 결과를 달성했습니다.
- WenetSpeech 데이터 세트
WenetSpeech train_s 세트 100시간의 중국어 데이터를 학습용 지도 데이터로 사용하여 FBank 기능, Wav2vec 2.0 BASE/LARGE 모델 기능 및 HuBERT BASE/LARGE의 사용을 비교했습니다. 모델 기능 각각의 문자 오류율(CER) 결과입니다. 동시에 중국 데이터 FBank 기능에 대해 1,000시간 동안 설정된 WenetSpeech train_m과 10,000시간 동안 설정된 train_l을 사용하여 훈련된 모델 결과를 추가로 비교했습니다. 학습 데이터는 가변 속도 또는 SpecAugment 데이터 증대 기술을 사용하지 않으며 디코딩 방법은 빔 검색이며 언어 모델 재채점은 사용되지 않습니다.
표 2: WenetSpeech 테스트 세트에 대한 다양한 모델의 단어 오류율(CER%) 결과
표 2의 결과는 수만 개를 조합하여 볼 수 있습니다. 훈련된 사전 훈련된 모델을 사용하면 다운스트림 ASR 결과가 크게 향상됩니다. 특히 음성 표현 추출기로 HuBERT LARGE를 사용하는 경우 100시간의 지도 데이터로 학습한 ASR 모델이 1000시간의 FBank 기능으로 학습한 모델보다 성능이 뛰어나며 심지어 10,000시간의 데이터로 학습한 모델과도 가깝습니다.
다운스트림 음성 작업에 대한 더 많은 실험 결과를 보려면 GitHub 링크(https://github.com/TencentGameMate/chinese_speech_pretrain)를 따르세요. 우리가 제공하는 중국어 음성 사전 훈련 모델을 사용하여 연구 작업을 수행하고 중국어 및 관련 시나리오에서 음성 사전 훈련 모델의 적용을 탐색하는 것을 누구나 환영합니다.
위 내용은 중국어 음성 사전 훈련된 모델을 찾을 수 없나요? 중국어 버전 Wav2vec 2.0 및 HuBERT 출시 예정의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

1 前言在发布DALL·E的15个月后,OpenAI在今年春天带了续作DALL·E 2,以其更加惊艳的效果和丰富的可玩性迅速占领了各大AI社区的头条。近年来,随着生成对抗网络(GAN)、变分自编码器(VAE)、扩散模型(Diffusion models)的出现,深度学习已向世人展现其强大的图像生成能力;加上GPT-3、BERT等NLP模型的成功,人类正逐步打破文本和图像的信息界限。在DALL·E 2中,只需输入简单的文本(prompt),它就可以生成多张1024*1024的高清图像。这些图像甚至

“Making large models smaller”这是很多语言模型研究人员的学术追求,针对大模型昂贵的环境和训练成本,陈丹琦在智源大会青源学术年会上做了题为“Making large models smaller”的特邀报告。报告中重点提及了基于记忆增强的TRIME算法和基于粗细粒度联合剪枝和逐层蒸馏的CofiPruning算法。前者能够在不改变模型结构的基础上兼顾语言模型困惑度和检索速度方面的优势;而后者可以在保证下游任务准确度的同时实现更快的处理速度,具有更小的模型结构。陈丹琦 普

Wav2vec 2.0 [1],HuBERT [2] 和 WavLM [3] 等语音预训练模型,通过在多达上万小时的无标注语音数据(如 Libri-light )上的自监督学习,显著提升了自动语音识别(Automatic Speech Recognition, ASR),语音合成(Text-to-speech, TTS)和语音转换(Voice Conversation,VC)等语音下游任务的性能。然而这些模型都没有公开的中文版本,不便于应用在中文语音研究场景。 WenetSpeech [4] 是

由于复杂的注意力机制和模型设计,大多数现有的视觉 Transformer(ViT)在现实的工业部署场景中不能像卷积神经网络(CNN)那样高效地执行。这就带来了一个问题:视觉神经网络能否像 CNN 一样快速推断并像 ViT 一样强大?近期一些工作试图设计 CNN-Transformer 混合架构来解决这个问题,但这些工作的整体性能远不能令人满意。基于此,来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer——Next-ViT。从延迟 / 准确性权衡的角度看,

3月27号,Stability AI的创始人兼首席执行官Emad Mostaque在一条推文中宣布,Stable Diffusion XL 现已可用于公开测试。以下是一些事项:“XL”不是这个新的AI模型的官方名称。一旦发布稳定性AI公司的官方公告,名称将会更改。与先前版本相比,图像质量有所提高与先前版本相比,图像生成速度大大加快。示例图像让我们看看新旧AI模型在结果上的差异。Prompt: Luxury sports car with aerodynamic curves, shot in a

人工智能就是一个「拼财力」的行业,如果没有高性能计算设备,别说开发基础模型,就连微调模型都做不到。但如果只靠拼硬件,单靠当前计算性能的发展速度,迟早有一天无法满足日益膨胀的需求,所以还需要配套的软件来协调统筹计算能力,这时候就需要用到「智能计算」技术。最近,来自之江实验室、中国工程院、国防科技大学、浙江大学等多达十二个国内外研究机构共同发表了一篇论文,首次对智能计算领域进行了全面的调研,涵盖了理论基础、智能与计算的技术融合、重要应用、挑战和未来前景。论文链接:https://spj.scien

译者 | 李睿审校 | 孙淑娟近年来, Transformer 机器学习模型已经成为深度学习和深度神经网络技术进步的主要亮点之一。它主要用于自然语言处理中的高级应用。谷歌正在使用它来增强其搜索引擎结果。OpenAI 使用 Transformer 创建了著名的 GPT-2和 GPT-3模型。自从2017年首次亮相以来,Transformer 架构不断发展并扩展到多种不同的变体,从语言任务扩展到其他领域。它们已被用于时间序列预测。它们是 DeepMind 的蛋白质结构预测模型 AlphaFold

说起2010年南非世界杯的最大网红,一定非「章鱼保罗」莫属!这只位于德国海洋生物中心的神奇章鱼,不仅成功预测了德国队全部七场比赛的结果,还顺利地选出了最终的总冠军西班牙队。不幸的是,保罗已经永远地离开了我们,但它的「遗产」却在人们预测足球比赛结果的尝试中持续存在。在艾伦图灵研究所(The Alan Turing Institute),随着2022年卡塔尔世界杯的持续进行,三位研究员Nick Barlow、Jack Roberts和Ryan Chan决定用一种AI算法预测今年的冠军归属。预测模型图


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

mPDF
mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

안전한 시험 브라우저
안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 Linux 새 버전
SublimeText3 Linux 최신 버전
