Lassen Sie uns über KI-Rauschunterdrückungstechnologie in der Echtzeitkommunikation sprechen

Teil 01 Übersicht

#🎜. 🎜 #

Wenn das Mikrofon in Echtzeit-Audio- und Videokommunikationsszenarien die Stimme des Benutzers erfasst, erfasst es auch eine große Menge an Umgebungsgeräuschen. Der herkömmliche Rauschunterdrückungsalgorithmus ist nur bei stationären Geräuschen wirksam (z B. Lüftergeräusch, weißes Rauschen, Grundrauschen des Schaltkreises usw.) Es hat einen gewissen Effekt, aber der Effekt der Geräuschreduzierung ist bei instationären vorübergehenden Geräuschen (wie Restaurantgeräuschen, Umgebungsgeräuschen in der U-Bahn, Geräuschen in der heimischen Küche usw.) schlecht. Dies beeinträchtigt das Anruferlebnis des Benutzers erheblich. Als Reaktion auf Hunderte von instationären Lärmproblemen in komplexen Szenarien wie zu Hause und im Büro entwickelte das Team für ökologische Stärkung der Abteilung für integrierte Kommunikationssysteme unabhängig eine KI-Technologie zur Reduzierung von Audiogeräuschen auf der Grundlage des GRU-Modells und durch Algorithmus- und technische Optimierung. Die Größe des Rauschunterdrückungsmodells wurde von 2,4 MB auf 82 KB komprimiert, der Rechenaufwand wurde von etwa 186 Mflops auf 42 Mflops optimiert und die Laufeffizienz wurde im bestehenden Test um 77 % verbessert Im Datensatz (in der experimentellen Umgebung) können menschliche Stimme und Lärm effektiv getrennt werden, wodurch der MOS-Score (durchschnittlicher Meinungswert) der Anrufqualität auf 4,25 verbessert wird.

In diesem Artikel wird vorgestellt, wie unser Team eine Echtzeit-Rauschunterdrückung auf der Grundlage von Deep Learning durchführt und diese auf mobilen Endgeräten und der Jiaqin-App implementiert Verfahren. Der vollständige Text wird wie folgt gegliedert sein und die Klassifizierung von Rauschen und die Auswahl von Algorithmen zur Lösung dieser Rauschprobleme vorstellen. Schließlich werden die Auswirkungen und Schlüsselanwendungen der aktuellen KI vorgestellt Rauschunterdrückungsszene.

Teil 02 Auswahl des Rauschklassifizierungs- und Rauschunterdrückungsalgorithmus # 🎜🎜#

In Echtzeit-Audio- und Videoanwendungsszenarien befindet sich das Gerät in einer komplexen akustischen Umgebung. Während das Mikrofon Sprachsignale sammelt, sammelt es auch eine große Menge an Rauschen. was sich nachteilig auf die Qualität von Echtzeit-Audio und -Video auswirkt. Eine sehr große Herausforderung. Es gibt viele Arten von Lärm. Lärm kann anhand seiner mathematischen und statistischen Eigenschaften in zwei Kategorien eingeteilt werden:

Stationärer Lärm: # 🎜🎜#Die statistischen Eigenschaften von Lärm ändern sich im Laufe der Zeit nicht, wie z. B. weißes Rauschen, elektrische Ventilatoren, Klimaanlagen, Autolärm usw.; #

Instationärer Lärm:

#🎜 🎜#

Die statistischen Merkmale von Lärm ändern sich im Laufe der Zeit, z. B. laute Restaurants, U-Bahn-Stationen, Büros, Heimküchen usw. #🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜##in real Bei Audio- und Videoanwendungen sind Anrufe anfällig für Störungen durch verschiedene Arten von Rauschen, die das Erlebnis beeinträchtigen. Daher ist die Echtzeit-Audio-Rauschunterdrückung zu einer wichtigen Funktion bei Echtzeit-Audio und -Video geworden. Bei stetigem Rauschen wie dem Surren von Klimaanlagen oder dem Grundrauschen von Aufnahmegeräten kann es durch einfache Subtraktion, Wiener-Filterung und Wavelet-Transformation geschätzt, vorhergesagt und entfernt werden . Instationäre Geräusche, wie das Geräusch vorbeifahrender Autos, das Aufeinanderprallen von Tellern in Restaurants und das Klopfen von Töpfen in der heimischen Küche, treten alle zufällig und unerwartet auf und können nicht abgeschätzt und gelöst werden . Herkömmliche Algorithmen sind schwer abzuschätzen und instationäres Rauschen zu eliminieren, weshalb wir Deep-Learning-Algorithmen verwenden.

Teil 03 Deep Learning Noise Reduction Algorithm Design

Um die Rauschunterdrückungsfunktionen des Audio-SDK für verschiedene Lärmszenen zu verbessern und die Mängel der herkömmlichen Rauschunterdrückung auszugleichen Von uns entwickelte Algorithmen haben ein RNN-basiertes AI-Rauschunterdrückungsmodul entwickelt, das traditionelle Rauschunterdrückungstechnologie und Deep-Learning-Technologie kombiniert. Der Fokus liegt auf der Verarbeitung von Geräuschen zur Geräuschreduzierung für Heim- und Büronutzungsszenarien. Dem Geräuschdatensatz werden zahlreiche Arten von Innengeräuschen hinzugefügt, z. B. das Tippen auf der Tastatur im Büro, Reibungsgeräusche beim Ziehen von Schreibtischen und Büromaterialien, das Ziehen von Stühlen und in der Küche zu Hause. Geräusche, Bodenknallen usw.

Gleichzeitig steuert dieser KI-Algorithmus zur Reduzierung von Audiorauschen den Rechenaufwand und die Bibliotheksgröße auf ein sehr niedriges Niveau, um die Sprachverarbeitung in Echtzeit auf dem mobilen Endgerät zu implementieren. In Bezug auf den Rechenaufwand benötigt die RNN-Netzwerkverarbeitung für jeden Sprachrahmen am Beispiel von 48 kHz nur etwa 17,5 Mflops, für FFT und IFFT sind für jeden Sprachrahmen etwa 7,5 Mflops erforderlich, und für die Merkmalsextraktion sind etwa 12 Mflops erforderlich, was insgesamt etwa 42 Mflops ergibt Die Rechenkomplexität entspricht ungefähr dem 48-kHz-Opus-Codec. Statistiken zeigen, dass die CPU-Auslastung des RNN-Rauschunterdrückungsmoduls etwa 4 % beträgt. In Bezug auf die Größe der Audiobibliothek erhöht sich die Größe der Audio-Engine-Bibliothek nach dem Einschalten der RNN-Rauschunterdrückungskompilierung nur um etwa 108 KB.

Teil 04 Netzwerkmodell und Verarbeitungsablauf

Dieses Modul verwendet das RNN-Modell, da RNN im Vergleich zu anderen Lernmodellen (wie CNN) Zeitinformationen überträgt und Zeitsignale modellieren kann Trennen Sie einfach die Audio-Eingabe- und Ausgabe-Frames. Gleichzeitig verwendet das Modell eine Gated Recurrent Unit (GRU, wie in Abbildung 1 dargestellt) und zeigt, dass GRU bei Sprachgeräuschreduzierungsaufgaben etwas besser abschneidet und aufgrund der geringeren Gewichtungsparameter von GRU Rechenressourcen einsparen kann . Im Vergleich zu einer einfachen Schleifeneinheit verfügt eine GRU über zwei zusätzliche Tore. Der Reset-Gate-Steuerungszustand wird zur Berechnung des neuen Zustands verwendet, während der Update-Gate-Steuerungszustand angibt, um wie viel er sich basierend auf der neuen Eingabe ändert. Dieses Update-Gate ermöglicht es GRU, sich Zeitinformationen über einen langen Zeitraum zu merken, weshalb GRU eine bessere Leistung als einfache wiederkehrende Einheiten erbringt.

Abbildung 1 Die linke Seite ist eine einfache zyklische Einheit und die rechte Seite ist GRU

Die Struktur des Modells ist in Abbildung 2 dargestellt. Das trainierte Modell wird in das Audio- und Videokommunikations-SDK eingebettet, der Audiostream wird gerahmt und an das Vorverarbeitungsmodul zur AI-Rauschunterdrückung gesendet (Merkmal) wird berechnet und an das trainierte Modell ausgegeben. Der entsprechende Verstärkungswert (Gain) wird über das Modell berechnet und der Verstärkungswert wird zum Anpassen des Signals verwendet, um letztendlich den Zweck der Rauschunterdrückung zu erreichen (wie in Abbildung 3 dargestellt). . Abbildung 2. GRU-basierter RNN-Netzwerkmodell-Trainingsprozess, unten ist der Echtzeit-Rauschreduzierungsprozess dargestellt

Teil 05 KI-Rauschunterdrückungsverarbeitungseffekt und -implementierung

Abbildung 4 zeigt den Vergleich von Sprachspektrogrammen vor und nach der Rauschunterdrückung mit Tastatur-Tippgeräuschen , wobei das rote rechteckige Kästchen das Klopfgeräusch der Tastatur darstellt. Der untere Teil ist das Sprachsignal nach der Geräuschreduzierung. Durch Beobachtung kann festgestellt werden, dass die meisten Tastaturklopfgeräusche unterdrückt werden können, während der Sprachschaden auf ein niedriges Niveau reduziert wird.

Abbildung 4. Laute Sprache (begleitet von Tastaturtippgeräuschen während des Anrufs) vor und nach dem Vergleich

Das aktuelle AI-Rauschunterdrückungsmodell ist bereits auf dem Mobiltelefon Hejiaqin ist online, um den Rauschunterdrückungseffekt von Anrufen auf Mobiltelefonen und der Jiaqin-App zu verbessern. Es verfügt über hervorragende Unterdrückungsfunktionen in mehr als 100 Lärmszenarien, einschließlich zu Hause und im Büro, und behält gleichzeitig die Sprachverzerrung bei. In der nächsten Phase werden wir die Rechenkomplexität des AI-Rauschunterdrückungsmodells weiter optimieren, damit es auf IoT-Geräten mit geringem Stromverbrauch gefördert und verwendet werden kann.

Das obige ist der detaillierte Inhalt vonLassen Sie uns über KI-Rauschunterdrückungstechnologie in der Echtzeitkommunikation sprechen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!