Le modèle de langage IA open source de Meta, MusicGen, peut convertir du texte et des mélodies en morceaux de musique complets.

IT House News le 12 juin, Meta a récemment rendu open source son modèle de langage d'IA MusicGen sur Github, basé sur le modèle Transformer lancé par Google en 2017. Comme le nom du modèle l'indique, MusicGen est principalement utilisé pour la génération de musique. Il peut convertir du texte et des mélodies existantes en morceaux de musique complets .

L'équipe R&D a déclaré : « Nous avons utilisé 20 000 heures de musique autorisée pour entraîner le modèle et utilisé l'encodeur EnCodec de Meta pour décomposer les données audio en unités plus petites pour un traitement parallèle, améliorant ainsi l'efficacité de calcul et la vitesse de génération de MusicGen. Modèles d’IA. »

De plus, MusicGen prend également en charge la saisie combinée de texte et de mélodie Par exemple, vous pouvez proposer de générer « une piste lumineuse » et en même temps demander de « la combiner avec « l'Ode à la joie » de Beethoven.

L'équipe R&D a également testé les performances réelles de MusicGen. Les résultats montrent que par rapport à MusicLM de Google et à d'autres modèles musicaux tels que Riffusion, Mousai et Noise2Music, MusicGen est plus performant dans les tests d'indicateurs tels que la correspondance des invites musicales et textuelles et la crédibilité de la composition, et est globalement légèrement supérieur à celui de Google. Niveau MusiqueLM.

Meta a autorisé l'utilisation commerciale de ce modèle et a publié une application Web de démonstration sur Huggingface.

IT House joint l'adresse du modèle : Cliquez ici pour y aller

Adresse de l'application démo : Cliquez ici pour y aller

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!