찾다
기술 주변기기일체 포함지능형 음성 합성의 핵심 원리
지능형 음성 합성의 핵심 원리Jan 23, 2024 am 09:54 AM
기계 학습

통계적 매개변수 음성 합성 방법은 유연성으로 인해 음성 합성 분야에서 광범위한 주목을 받았습니다. 최근 몇 년 동안 기계 학습 연구 분야에서 심층 신경망 모델을 적용하면 기존 방법에 비해 상당한 이점을 얻었습니다. 통계적 매개변수 음성 합성에서 신경망 기반 모델링 방법의 적용은 점차 심화되어 음성 합성의 주류 방법 중 하나가 되었습니다.

통계적 매개변수 음성 합성을 위한 백엔드 음향 모델링이 이 기사의 주제입니다.

지능형 음성 합성의 핵심 원리

파라메트릭 음성 합성의 백엔드 프레임워크

그림에 표시된 것처럼 통계적 파라메트릭 음성 합성의 백엔드 프레임워크가 설명되어 있으며 주로 훈련과 합성의 두 단계로 구성됩니다.

훈련 단계에서는 사운드 라이브러리의 음성 파형과 해당 텍스트 기능이 입력으로 사용됩니다. 음성 파형은 보코더를 통해 추출되고 음향 모델링을 위해 텍스트 기능과 결합됩니다.

합성 단계에서는 훈련된 음향 모델에 따라 합성할 텍스트 특징을 입력하고 해당 음향 특징을 예측합니다. 예측된 음향 특징은 보코더를 사용하여 음성 파형으로 변환됩니다. 보코더 및 음향 모델은 통계적 매개변수 음성 합성 시스템의 핵심 구성 요소입니다.

음성 생성의 소스 필터 모델은 음성 파형 매개변수화 프로세스 중에 음성의 단기 스펙트럼을 기본 주파수와 스펙트럼 포락선으로 분리하는 데 사용됩니다. 일반적으로 시간 영역 파형이나 주파수 영역 고조파를 분석하여 음성의 여기 특성을 얻은 후 음성 파형의 단시간 푸리에 변환을 통해 얻은 진폭 스펙트럼에서 시간과 주파수의 주기성을 제거하여 다음과 같은 스펙트럼 패키지를 얻습니다. 연설. 이 방법은 음성 신호를 더 잘 이해하고 처리하는 데 도움이 될 수 있습니다.

스펙트럼 포락선의 차원이 높기 때문에 모델링이 어려워지기 때문에 스펙트럼 포락선의 차원을 줄여야 하는 경우가 많습니다. 음성 파형 재구성은 음성의 음향 매개변수로부터 원래 음성을 복원하는 역과정입니다. 기본 주파수, 스펙트럼 포락선 및 음성의 여기 특성을 적절한 위상 제약 조건과 결합하여 STFT 진폭 스펙트럼을 재구성할 수 있습니다.

기간 모델링은 통계적 매개변수 음성 합성의 또 다른 모듈입니다. 지속 시간 모델링에는 보코더가 필요하지 않습니다. 기본 프레임워크는 음향 모델링과 유사합니다. 통계 모델은 주어진 텍스트 특징에 해당하는 시간 길이의 확률 분포를 모델링하는 데 사용됩니다.

HMM을 기반으로 한 통계적 매개변수 음성합성 방법은 20년 이상의 개발 끝에 성숙한 음성합성 방법이 되었습니다.

이 섹션에서는 은닉 마르코프 모델과 그 이론적 근거를 소개합니다. 특정 위상 제약 조건과 결합하여 STFT 진폭 스펙트럼이 재구성됩니다. 기간 모델링은 통계적 매개변수 음성 합성의 또 다른 모듈입니다. 지속 시간 모델링에는 보코더가 필요하지 않습니다. 기본 프레임워크는 음향 모델링과 유사합니다. 통계 모델은 주어진 텍스트 특징에 해당하는 시간 길이의 확률 분포를 모델링하는 데 사용됩니다. HMM을 기반으로 한 통계적 매개변수 음성합성 방법은 20년 이상의 개발 끝에 성숙한 음성합성 방법이 되었습니다.

Hidden Markov 모델은 일련의 모델링을 위한 확률 모델로, 숨겨진 상태 변수 세트와 관찰 변수 세트로 구성됩니다. HMM 모델에는 두 가지 가정이 있습니다.

상태 변수는 1차 마르코프 체인을 따릅니다. 즉, 공식(1)에 표시된 것처럼 현재 상태는 이전 상태와만 관련됩니다.

지능형 음성 합성의 핵심 원리

수학식 (2)와 같이 특정 순간의 관측 변수의 확률 분포는 현재 순간의 상태에만 관련될 뿐 다른 순간의 상태나 관측 변수와는 아무런 관련이 없습니다. .

지능형 음성 합성의 핵심 원리

보통 HMM 모델에서는

지능형 음성 합성의 핵심 원리

HMM의 상태 전이 행렬 A를 교묘하게 형성하며, 관측 변수의 확률 밀도는

지능형 음성 합성의 핵심 원리

입니다. HMM 출력 확률:

지능형 음성 합성의 핵심 원리

HMM 기반 통계적 매개변수 음성 합성 방법에서 음향 모델링의 핵심 원리는 HMM 모델을 사용하여 음성 특징 시퀀스의 확률적 모델링을 수행하는 것입니다. 주어진 상황.

전체 시스템 구성에는 음성 음향 기능 선택, 모델링 단위 선택 및 HMM 모델 구성이 포함됩니다. 음성 합성 시스템의 음향 특징에는 여기 특징과 스펙트럼 특징이 포함됩니다.

스펙트럼 특징 선정에는 HMM 모델링의 난이도를 줄이기 위해 Mel cepstrum, Line Spectrum pair 특징 등 차원 간의 상관관계를 제거한 저차원 스펙트럼 표현이 일반적으로 사용됩니다. 음성 신호의 단기 고정 특성과 HM의 모델링 능력을 고려하여 음성 합성 시스템의 HMM은 일반적으로 중국어의 모음 단위와 같은 음소 수준 단위를 모델링합니다. 음성의 타이밍 특성으로 인해 오디오 모델링에서 HMM의 토폴로지는 왼쪽에서 오른쪽으로 단방향 순회 상태인 경우가 많습니다.

지능형 음성 합성의 핵심 원리

HMM 기반 통계 매개변수 음성 합성 시스템 프레임워크

그림은 HMM 기반 통계 매개변수 음성 합성 시스템의 프레임워크를 나타낸 것입니다. 훈련단계와 종합단계로 나누어진다. 훈련 단계에는 음성 음향 특징 추출과 HMM 모델 훈련이 포함됩니다. HMM 모델은 모델링 단위로 음소를 사용하므로 모델링 정확도를 높이기 위해 일반적으로 문맥 관련 음소 3개를 모델링합니다.

첫 번째 시스템 학습 과정에서는 HMM 모델의 분산 하한을 추정한 후 모델 초기화 매개변수로 단일 톤 HMM 모델을 학습한 다음 컨텍스트 관련 트라이폰 HMM 모델을 학습하고, 마지막으로 결정 트리를 기반으로 Mn 압력 클러스터링이 수행됩니다.

합성 단계에서는 먼저 텍스트를 분석하고 예측된 시간 길이와 결합하고 의사 결정 트리를 기반으로 상황 관련 HMM 모델 시퀀스를 결정한 후 최대 우도 매개 변수 생성을 통해 연속 음향 특징 시퀀스를 얻습니다. 알고리즘과 음성 파형은 합성기에 의해 합성됩니다. HMM을 기반으로 한 통계적 매개변수 음성 합성 시스템은 너무 매끄럽습니다. 한 가지 이유는 HMM의 모델링 능력이 제한되어 있기 때문입니다.

최근에는 머신러닝의 한 분야로 딥러닝이 빠르게 발전했습니다. 딥러닝은 다중 비선형 변환과 다중 처리 계층, 즉 신경망으로 구성된 네트워크 모델을 사용하는 것을 말합니다. DNN과 인치의 우수한 모델링 능력으로 인해 DNN과 RNN 기반의 음향 모델링 방법은 통계적 매개변수 음성 합성에 적용되며 그 효과는 HMM 기반의 음향 모델링 방법보다 우수합니다.

이제 통계적 매개변수 음성 합성 음향 모델링의 주류 방법이 되었습니다. DNN과 RNN 기반 음성 합성 시스템은 시스템 프레임워크가 유사합니다.

지능형 음성 합성의 핵심 원리

신경망 기반 음성 합성 방법의 프레임 다이어그램

그림에 표시된 것처럼 그림의 입력 특징은 텍스트에서 추출된 특징입니다. 즉, 이산적이거나 연속적인 수치 특징을 사용하여 설명합니다. 텍스트.

DNN 및 RNN을 기반으로 한 통계적 매개변수 음성 합성 시스템의 훈련은 일반적으로 훈련 기준을 채택하고 BP 알고리즘 및 SGD 알고리즘을 사용하여 모델 매개변수를 업데이트하여 예측된 음향 매개변수가 자연 음향 매개변수에 최대한 가깝도록 합니다. 합성 단계에서는 합성된 텍스트에서 텍스트 특징을 추출한 후 DNN 또는 RNN을 통해 해당 음향 매개변수를 예측하고 마지막으로 보코더를 통해 음성 파형을 합성합니다.

현재 DNN과 RNN을 기반으로 한 모델링 방법은 기본 주파수와 스펙트럼 매개변수를 포함한 음성 음향 매개변수에 주로 적용됩니다. 기간 정보는 여전히 다른 시스템을 통해 얻어야 합니다. 또한 DNN 및 RNN 모델의 입력 및 출력 기능은 시간에 맞춰 정렬되어야 합니다.

위 내용은 지능형 음성 합성의 핵심 원리의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 网易伏羲에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
解读CRISP-ML(Q):机器学习生命周期流程解读CRISP-ML(Q):机器学习生命周期流程Apr 08, 2023 pm 01:21 PM

译者 | 布加迪审校 | 孙淑娟目前,没有用于构建和管理机器学习(ML)应用程序的标准实践。机器学习项目组织得不好,缺乏可重复性,而且从长远来看容易彻底失败。因此,我们需要一套流程来帮助自己在整个机器学习生命周期中保持质量、可持续性、稳健性和成本管理。图1. 机器学习开发生命周期流程使用质量保证方法开发机器学习应用程序的跨行业标准流程(CRISP-ML(Q))是CRISP-DM的升级版,以确保机器学习产品的质量。CRISP-ML(Q)有六个单独的阶段:1. 业务和数据理解2. 数据准备3. 模型

2023年机器学习的十大概念和技术2023年机器学习的十大概念和技术Apr 04, 2023 pm 12:30 PM

机器学习是一个不断发展的学科,一直在创造新的想法和技术。本文罗列了2023年机器学习的十大概念和技术。 本文罗列了2023年机器学习的十大概念和技术。2023年机器学习的十大概念和技术是一个教计算机从数据中学习的过程,无需明确的编程。机器学习是一个不断发展的学科,一直在创造新的想法和技术。为了保持领先,数据科学家应该关注其中一些网站,以跟上最新的发展。这将有助于了解机器学习中的技术如何在实践中使用,并为自己的业务或工作领域中的可能应用提供想法。2023年机器学习的十大概念和技术:1. 深度神经网

基于因果森林算法的决策定位应用基于因果森林算法的决策定位应用Apr 08, 2023 am 11:21 AM

译者 | 朱先忠​审校 | 孙淑娟​在我之前的​​博客​​中,我们已经了解了如何使用因果树来评估政策的异质处理效应。如果你还没有阅读过,我建议你在阅读本文前先读一遍,因为我们在本文中认为你已经了解了此文中的部分与本文相关的内容。为什么是异质处理效应(HTE:heterogenous treatment effects)呢?首先,对异质处理效应的估计允许我们根据它们的预期结果(疾病、公司收入、客户满意度等)选择提供处理(药物、广告、产品等)的用户(患者、用户、客户等)。换句话说,估计HTE有助于我

使用PyTorch进行小样本学习的图像分类使用PyTorch进行小样本学习的图像分类Apr 09, 2023 am 10:51 AM

近年来,基于深度学习的模型在目标检测和图像识别等任务中表现出色。像ImageNet这样具有挑战性的图像分类数据集,包含1000种不同的对象分类,现在一些模型已经超过了人类水平上。但是这些模型依赖于监督训练流程,标记训练数据的可用性对它们有重大影响,并且模型能够检测到的类别也仅限于它们接受训练的类。由于在训练过程中没有足够的标记图像用于所有类,这些模型在现实环境中可能不太有用。并且我们希望的模型能够识别它在训练期间没有见到过的类,因为几乎不可能在所有潜在对象的图像上进行训练。我们将从几个样本中学习

LazyPredict:为你选择最佳ML模型!LazyPredict:为你选择最佳ML模型!Apr 06, 2023 pm 08:45 PM

本文讨论使用LazyPredict来创建简单的ML模型。LazyPredict创建机器学习模型的特点是不需要大量的代码,同时在不修改参数的情况下进行多模型拟合,从而在众多模型中选出性能最佳的一个。 摘要本文讨论使用LazyPredict来创建简单的ML模型。LazyPredict创建机器学习模型的特点是不需要大量的代码,同时在不修改参数的情况下进行多模型拟合,从而在众多模型中选出性能最佳的一个。​本文包括的内容如下:​简介​LazyPredict模块的安装​在分类模型中实施LazyPredict

Mango:基于Python环境的贝叶斯优化新方法Mango:基于Python环境的贝叶斯优化新方法Apr 08, 2023 pm 12:44 PM

译者 | 朱先忠审校 | 孙淑娟引言模型超参数(或模型设置)的优化可能是训练机器学习算法中最重要的一步,因为它可以找到最小化模型损失函数的最佳参数。这一步对于构建不易过拟合的泛化模型也是必不可少的。优化模型超参数的最著名技术是穷举网格搜索和随机网格搜索。在第一种方法中,搜索空间被定义为跨越每个模型超参数的域的网格。通过在网格的每个点上训练模型来获得最优超参数。尽管网格搜索非常容易实现,但它在计算上变得昂贵,尤其是当要优化的变量数量很大时。另一方面,随机网格搜索是一种更快的优化方法,可以提供更好的

人工智能自动获取知识和技能,实现自我完善的过程是什么人工智能自动获取知识和技能,实现自我完善的过程是什么Aug 24, 2022 am 11:57 AM

实现自我完善的过程是“机器学习”。机器学习是人工智能核心,是使计算机具有智能的根本途径;它使计算机能模拟人的学习行为,自动地通过学习来获取知识和技能,不断改善性能,实现自我完善。机器学习主要研究三方面问题:1、学习机理,人类获取知识、技能和抽象概念的天赋能力;2、学习方法,对生物学习机理进行简化的基础上,用计算的方法进行再现;3、学习系统,能够在一定程度上实现机器学习的系统。

超参数优化比较之网格搜索、随机搜索和贝叶斯优化超参数优化比较之网格搜索、随机搜索和贝叶斯优化Apr 04, 2023 pm 12:05 PM

本文将详细介绍用来提高机器学习效果的最常见的超参数优化方法。 译者 | 朱先忠​审校 | 孙淑娟​简介​通常,在尝试改进机器学习模型时,人们首先想到的解决方案是添加更多的训练数据。额外的数据通常是有帮助(在某些情况下除外)的,但生成高质量的数据可能非常昂贵。通过使用现有数据获得最佳模型性能,超参数优化可以节省我们的时间和资源。​顾名思义,超参数优化是为机器学习模型确定最佳超参数组合以满足优化函数(即,给定研究中的数据集,最大化模型的性能)的过程。换句话说,每个模型都会提供多个有关选项的调整“按钮

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

SublimeText3 영어 버전

SublimeText3 영어 버전

권장 사항: Win 버전, 코드 프롬프트 지원!

ZendStudio 13.5.1 맥

ZendStudio 13.5.1 맥

강력한 PHP 통합 개발 환경