Maison > Article > Périphériques technologiques > Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! J'ai oublié de faire un test anti-poison

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! J'ai oublié de faire un test anti-poison

WBOYavant: 2024-04-23 17:22:11835parcourir

La semaine dernière, Microsoft a diffusé un modèle open source appelé WizardLM-2 qui peut être appelé niveau GPT-4.

De façon inattendue, il a été supprimé immédiatement quelques heures après sa publication.

Certains internautes ont soudainement découvert que les poids des modèles et les messages d'annonce de WizardLM avaient tous été supprimés et ne figuraient plus dans la collection Microsoft. Hormis la mention du site, aucune preuve n'a pu être trouvée pour prouver ce projet officiel de Microsoft.

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

La page d'accueil du projet GitHub est devenue 404.

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

Adresse du projet : https://wizardlm.github.io/

Y compris le poids du modèle sur HF, tout a disparu...

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

L'ensemble du réseau Le visage est plein de confusion, pourquoi WizardLM est-il parti ?

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

Mais Microsoft a fait cela parce que l'équipe a oublié de "tester" le modèle.

Plus tard, l'équipe Microsoft s'est présentée pour s'excuser et expliquer que cela faisait un moment que WizardLM n'était pas sorti il y a quelques mois, nous n'étions donc pas familiers avec le nouveau processus de publication.

Nous avons accidentellement manqué l'une des choses requises dans le processus de publication du modèle : le test d'empoisonnement

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

Microsoft WizardLM mis à niveau vers la deuxième génération

En juin de l'année dernière, il a été affiné basé sur LlaMA Une fois la première génération de WizardLM sortie, elle a attiré beaucoup d'attention de la part de la communauté open source.

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

Adresse papier : https://arxiv.org/pdf/2304.12244.pdf

Par la suite, la version code de WizardCoder est née - un modèle basé sur Code Llama et affiné à l'aide d'Evol- Instruire.

Les résultats des tests montrent que le pass@1 de WizardCoder sur HumanEval a atteint un étonnant 73,2 %, dépassant le GPT-4 d'origine.

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

Alors que le temps avance jusqu'au 15 avril, les développeurs Microsoft ont officiellement annoncé une nouvelle génération de WizardLM, cette fois affiné à partir de Mixtral 8x22B.

Il contient trois versions de paramètres, à savoir 8x22B, 70B et 7B.

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

Le plus intéressant à mentionner est que lors du test de référence MT-Bench, le nouveau modèle a obtenu un avantage de premier plan.

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

Plus précisément, les performances de la version avec le plus grand paramètre du modèle WizardLM 8x22B sont presque proches de GPT-4 et Claude 3.

Sur la même échelle de paramètres, la version 70B se classe première.

La version 7B est la plus rapide et peut même atteindre des performances comparables au modèle leader avec une échelle de paramètres 10 fois plus grande.

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

Le secret des performances exceptionnelles de WizardLM 2 réside dans la méthodologie de formation révolutionnaire Evol-Instruct développée par Microsoft.

Evol-Instruct exploite de grands modèles de langage pour réécrire de manière itérative l'ensemble d'instructions initial en variantes de plus en plus complexes. Ces données d'instructions évoluées sont ensuite utilisées pour affiner le modèle de base, améliorant ainsi considérablement sa capacité à gérer des tâches complexes.

L'autre est le cadre d'apprentissage par renforcement RLEIF, qui a également joué un rôle important dans le processus de développement de WizardLM 2.

Dans la formation WizardLM 2, la méthode AI Align AI (AAA) est également adoptée, qui permet à plusieurs grands modèles de premier plan de se guider et de s'améliorer mutuellement.

Le cadre AAA se compose de deux volets principaux, à savoir le « co-enseignement » et l'« auto-apprentissage ».

Co-enseignant cette étape, WizardLM et une variété de modèles avancés open source et propriétaires sous licence mènent des discussions de simulation, des jugements de qualité, des suggestions d'amélioration et comblent les lacunes en matière de compétences.

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

En communiquant entre eux et en fournissant des commentaires, les modèles peuvent apprendre de leurs pairs et améliorer leurs capacités.

Pour l'auto-apprentissage, WizardLM peut générer de nouvelles données d'entraînement évolutives pour l'apprentissage supervisé et des données de préférence pour l'apprentissage par renforcement grâce à l'auto-apprentissage actif.

Ce mécanisme d'auto-apprentissage permet au modèle d'améliorer continuellement les performances en apprenant de ses propres données générées et des informations de retour d'information.

De plus, le modèle WizardLM 2 a été entraîné à l'aide des données synthétiques générées.

De l'avis des chercheurs, les données d'entraînement pour les grands modèles sont de plus en plus épuisées, et on pense que les données soigneusement créées par l'IA et les modèles progressivement supervisés par l'IA seront le seul moyen d'accéder à une intelligence artificielle plus puissante.

Ils ont donc créé un système de formation synthétique entièrement piloté par l'IA pour améliorer WizardLM-2.

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

Les internautes rapides ont déjà téléchargé les poids

Cependant, avant la suppression de la base de données, de nombreuses personnes avaient déjà téléchargé les poids des modèles.

Avant la suppression du modèle, plusieurs utilisateurs l'ont également testé sur des benchmarks supplémentaires.

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

Heureusement, les internautes qui l'ont testé ont été impressionnés par le modèle 7B et ont déclaré que ce serait leur premier choix pour effectuer des tâches d'assistant local.

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

Quelqu'un a également fait un test anti-poison et a découvert que le WizardLM-8x22B avait un score de 98,33, tandis que le Mixtral-8x22B de base avait un score de 89,46 et le Mixtral 8x7B-Indict un score de 92,93.

Plus le score est élevé, mieux c'est, ce qui signifie que WizardLM-8x22B est toujours très fort.

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

S'il n'y a pas de test d'empoisonnement, il est absolument impossible d'envoyer le modèle.

Tout le monde sait que les grands mannequins sont sujets aux hallucinations.

Si WizardLM 2 génère du contenu « toxique, biaisé et incorrect » dans les réponses, il ne sera pas convivial pour les grands modèles.

En particulier, ces erreurs ont attiré l'attention de l'ensemble du réseau, et susciteront également des critiques de la part de Microsoft lui-même, et pourraient même faire l'objet d'une enquête de la part des autorités.

Certains internautes étaient confus et ont déclaré qu'il était possible de mettre à jour les indicateurs grâce à un "test d'empoisonnement". Pourquoi supprimer l'intégralité du référentiel et son poids ?

L'auteur de Microsoft a déclaré que selon le dernier règlement interne, cela ne peut être fait.

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

Certaines personnes ont également dit que nous voulions des modèles sans « lobotomie ».

Quelques heures après sa sortie, Microsoft a supprimé un grand modèle open source comparable à GPT-4 en quelques secondes ! Jai oublié de faire un test anti-poison

Cependant, les développeurs doivent encore attendre patiemment, et l'équipe Microsoft promet qu'elle se remettra en ligne une fois le test terminé.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

github 人工智能 https gpt llama

Déclaration：

Cet article est reproduit dans:. en cas de violation, veuillez contacter admin@php.cn Supprimer

Article précédent：750 000 rounds de bataille en tête-à-tête entre grands modèles, GPT-4 a remporté le championnat et Llama 3 s'est classé cinquièmeArticle suivant：750 000 rounds de bataille en tête-à-tête entre grands modèles, GPT-4 a remporté le championnat et Llama 3 s'est classé cinquième

Articles Liés

Voir plus