Das Meta-Open-Source-KI-Sprachmodell MusicGen kann Texte und Melodien in vollständige Musik umwandeln

IT House News am 12. Juni: Meta hat kürzlich sein KI-Sprachmodell MusicGen als Open Source auf Github veröffentlicht, das auf dem 2017 von Google eingeführten Transformer-Modell basiert. Wie der Name des Modells vermuten lässt, dient MusicGen hauptsächlich der Musikgenerierung. Es kann Texte und vorhandene Melodien in komplette Musikstücke umwandeln .

Das Forschungs- und Entwicklungsteam sagte: „Wir haben 20.000 Stunden autorisierte Musik verwendet, um das Modell zu trainieren, und den EnCodec-Encoder von Meta verwendet, um die Audiodaten für die Parallelverarbeitung in kleinere Einheiten zu zerlegen, wodurch sich sowohl die Recheneffizienz als auch die Generierungsgeschwindigkeit von MusicGen verbessert haben.“ KI-Modelle.“

Darüber hinaus unterstützt MusicGen auch die kombinierte Eingabe von Text und Melodie Sie können beispielsweise vorschlagen, „einen leichten Track“ zu generieren und gleichzeitig anzufordern, „diesen mit Beethovens „Ode an die Freude“ zu kombinieren“.

Das Forschungs- und Entwicklungsteam hat auch die tatsächliche Leistung von MusicGen getestet. Die Ergebnisse zeigen, dass MusicGen im Vergleich zu Googles MusicLM und anderen Musikmodellen wie Riffusion, Mousai, Noise2Music usw. bei Testindikatoren wie der Übereinstimmung von Musik und Textansagen sowie der Glaubwürdigkeit der Komposition insgesamt etwas besser abschneidet höher als das Google MusicLM-Niveau.

Meta hat die kommerzielle Nutzung dieses Modells gestattet und eine Demo-Webanwendung auf Huggingface veröffentlicht.

IT House fügt die Modelladresse bei: Klicken Sie hier, um zu gehen

Demo-Bewerbungsadresse: Klicken Sie hier, um loszulegen

Das obige ist der detaillierte Inhalt vonDas Meta-Open-Source-KI-Sprachmodell MusicGen kann Texte und Melodien in vollständige Musik umwandeln. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!