查特（Chattts）：將您的文字轉換為語音

CHATTTS：通過栩栩如生的對話徹底改變文字到語音

想像一下，用對話自然的音頻製作播客或虛擬助手。 Chattts是一種最先進的文本到語音（TTS）工具，將書面文本轉換為非常現實的音頻，捕捉了微妙的細微差別和情感表達。只需輸入您的腳本，然後以一種真實而引人入勝的聲音將其帶入生活。無論您是創建迷人的內容還是增強用戶互動，Chattts都可以瞥見無縫，自然的對話的未來。

關鍵學習點：

• 了解Chattts在TTS景觀中的獨特功能和優勢。
• 將Chattts與Bark和Vall-E等其他突出的TTS模型進行比較，從而突出了其關鍵區別。
• 探索文本預處理和輸出微調如何增強生成語音的自定義和表現力。
• 了解如何將CHATTT與大型語言模型（LLM）集成到高級應用程序中。
• 發現Chattts在音頻內容創建和虛擬助手開發中的實際應用。

（本文是數據科學博客馬拉鬆的一部分。）

目錄：

• 介紹
• 查atts概述
• Chattts功能
• 文本預處理：利用特殊令牌
• 微調查atts輸出
• 開源路線圖和社區參與
• 使用Chattts：實用指南
• 利用隨機揚聲器
• 兩階段控制
• LLM與Chattts集成
• CHATTTS應用程序
• 結論
• 常見問題

查特（Chattts）：深入潛水

Chattts代表了AI驅動的語音生成，促進流體和自然聽起來的對話的重大進步。 Chattts滿足了對LLM和文本生成的興起，滿足對高質量語音生成的需求，簡化了引人入勝的音頻對話的創建。其全面的數據挖掘和預培訓可顯著提高效率。 Chattts是頂級的開源TTS模型，以英語和中文都出色，利用超過100,000個小時的培訓數據來以兩種語言的形式產生令人難以置信的現實語音。

查atts的獨特功能

Chattts將自己與其他潛在的通用和較少表達的LLM區分開。經過大約10,000小時的英語和中文數據培訓，它大大推動了AI驅動的語音生成的界限。儘管在某些方面與Bark和Vall-E相似，但Chattts提供了關鍵的優勢。

例如，與Bark的限制不同，由於其GPT風格的架構，通常在13秒以下的輸出限制，以及其對較舊硬件的推理速度較慢，Chattts具有更快的推理，以大約7個語義圖表的速度生成音頻。此外，它的出色情緒控制超過了VALL-E。

讓我們研究Chattts的出色功能：

• 會話TTS：專為表達任務的對話而設計，它結合了自然語音模式並支持多揚聲器的綜合。
• 增強的控制和安全性：解決道德問題時，Chattts結合了降低圖像質量和開發開源工具等功能，用於檢測人造語音。
• LLM集成：進一步增強安全性和控制權，與LLMS集成，並結合水印以確保可靠性並解決潛在的濫用。這還允許對語音變化和輸出進行自定義控制。

通過文本預處理進行精確控制

Chattts通過使用嵌入在輸入文本中的特殊令牌來提供無與倫比的控制。這些令牌功能充當命令，影響暫停和笑聲等方面。該控件在兩個層面上運行：

• 句子級控制：像[laugh_(0-2)]和暫停命令之類的令牌。
• 單詞級別的控制：圍繞特定單詞插入以增強表現力的代幣。

完善輸出：微調參數

在音頻生成期間，用戶可以使用各種參數來完善輸出。這反映了句子級的控制，可以調整對說話者身份，語音變化和解碼策略的調整。這與文本預處理結合在一起，使Chattts高度可自定義，並能夠產生表現力的語音對話。

 <code>params_infer_code = {'prompt':'[speed_5]', 'temperature':.3} params_refine_text = {'prompt':'[oral_2][laugh_0][break_6]'}</code>

開源願景和社區合作

Chattts具有強大的微調功能和LLM集成，Chattts的潛力很大。該社區旨在開放貨源可訓練的模型，促進進一步的發展，並吸引研究人員和開發人員為改進做出貢獻。計劃包括通過擴展的情緒控制和簡化的LORA培訓代碼發布版本，利用現有的LLM集成來降低培訓的複雜性。 Web用戶界面（使用webui.py ）允許交互式文本輸入，參數調整和音頻生成。

 <code>python webui.py --server_name 0.0.0.0 --server_port 8080 --local_path /path/to/local/models</code>

（由於字符限制，繼續下一個響應）

以上是查特（Chattts）：將您的文字轉換為語音的詳細內容。更多資訊請關注PHP中文網其他相關文章！