Hallucination? Le TruthGPT de Musk ne peut pas non plus le gérer ! Le co-fondateur d'OpenAI dit que c'est compliqué

Le mois dernier, Musk a frénétiquement appelé à une suspension de 6 mois de la recherche et du développement sur la super IA.

Peu de temps après, Lao Ma ne pouvait plus rester immobile et a officiellement annoncé le lancement d'une plateforme d'IA appelée TruthGPT.

Musk a dit un jour que TruthGPT serait la « plus grande intelligence artificielle en quête de vérité » qui tentera de comprendre la nature de l'univers.

Il a souligné qu'il est peu probable qu'une intelligence artificielle soucieuse de comprendre l'univers extermine l'humanité car nous sommes les plus partie intéressante de l'univers.

Cependant, aucun modèle de langage ne peut gérer «l'illusion» jusqu'à présent.

Récemment, le co-fondateur d'OpenAI a expliqué pourquoi la réalisation des nobles idéaux de TruthGPT est si difficile.

TruthGPT l'idéal est une bulle ?

Le TruthGPT que X.AI de Musk veut construire est un modèle de langage honnête.

Ce faisant, nous ciblons directement ChatGPT.

Car, auparavant, les systèmes d'IA comme ChatGPT produisaient souvent des cas d'hallucinations classiques tels qu'une sortie incorrecte, et prenaient même en charge certains rend compte de certaines convictions politiques.

Bien que ChatGPT puisse donner aux utilisateurs plus de contrôle sur le modèle de langage pour résoudre les problèmes, « l'illusion » est toujours quelque chose que OpenAI, Google et les futures sociétés d'intelligence artificielle de Musk doivent gérer avec une question centrale.

Le co-fondateur et chercheur d'OpenAI, John Schulman, a discuté de ces défis et de la manière de les relever dans son exposé « RL and Truthfulness – Towards TruthGPT ».

Pourquoi y a-t-il des « hallucinations » ?

Selon Schulman, les hallucinations peuvent être grossièrement divisées en deux types :

1. Autrement dit, le modèle de langage ne peut pas exprimer sa propre incertitude, remettre en question les prémisses de l'invite ou perpétuer les erreurs qu'il a commises auparavant.

2. Le modèle devine mal.

Étant donné que le modèle de langage représente un graphe de connaissances qui contient des faits issus des données d'entraînement dans son propre réseau, le réglage fin peut être compris comme l'apprentissage d'une fonction exécutée sur le graphe de connaissances et la prédiction du jeton de sortie.

Par exemple, un ensemble de données de réglage précis peut contenir la question « Quel est le genre de Star Wars ? » et la réponse « Science-Fiction ».

Si cette information est déjà dans les données d'entraînement d'origine, c'est-à-dire qu'elle fait partie du graphe de connaissances, alors le Le modèle n'apprendra pas de nouvelles informations, mais apprendra un comportement, produisant la bonne réponse. Ce type de réglage fin est également appelé « clonage comportemental ».

Mais le problème est que la question "Quel est le nom du film dérivé de Han Solo" apparaît dans l'ensemble de données de réglage fin.

Mais si la réponse "Solo" ne fait pas partie de l'ensemble de données d'entraînement d'origine (ni du graphe de connaissances), le réseau apprendra à répondre même s'il ne connaît pas la réponse.

Apprenez au réseau à inventer des réponses, c'est-à-dire à créer des « hallucinations », en les affinant à l'aide de réponses qui sont réellement correctes mais qui ne figurent pas dans le graphe de connaissances . À l’inverse, une formation avec des réponses incorrectes amène le réseau à retenir des informations.

Ainsi, le clonage comportemental devrait idéalement toujours être basé sur la connaissance du réseau, mais cette connaissance est souvent inconnue du travailleur humain qui crée ou évalue l'ensemble de données, comme le réglage des instructions.

Selon Schulman, ce problème existe également lorsque d'autres modèles créent des ensembles de données affinés, comme c'est le cas avec la formule Alpaca.

Il prédit que les réseaux plus petits avec des graphiques de connaissances plus petits apprendront non seulement à utiliser les résultats de ChatGPT pour donner des réponses et suivre des instructions, mais apprendront également à halluciner plus fréquemment.

Comment OpenAI combat-il les hallucinations ?

Tout d'abord, pour des questions simples, les modèles linguistiques peuvent prédire s'ils connaissent la réponse dans la plupart des cas, et peuvent également exprimer une incertitude.

Par conséquent, Schulman a déclaré que lors du réglage fin de l'ensemble de données, le modèle doit apprendre à exprimer l'incertitude, à gérer les situations où les prémisses sont modifiées et les situations où les erreurs sont reconnues.

Les instances de ces situations doivent être transmises au modèle et lui permettre d'apprendre.

Mais les modèles sont encore mal entraînés au timing, c’est-à-dire qu’ils ne savent pas quand effectuer ces opérations.

Schulman a déclaré que c'est là que l'apprentissage par renforcement (RL) entre en jeu. Par exemple, l’apprentissage par renforcement avec feedback humain (RLHF) basé sur le feedback humain.

En appliquant RL, le modèle peut apprendre les « limites de comportement » et apprendre quand exécuter quel comportement.

Une autre difficulté est la capacité à récupérer et citer des sources.

La question est, avec la capacité de copier les comportements et le RLHF, pourquoi ChatGPT hallucine-t-il encore ?

La raison réside dans la difficulté du problème lui-même.

Bien que la méthode ci-dessus fonctionne bien pour les questions et réponses courtes, d'autres problèmes surviennent pour les paramètres de format long courants dans ChatGPT.

D'une part, une réponse complètement fausse est peu probable. Dans la plupart des cas, le bien et le mal sont mélangés.

Dans des cas extrêmes, il peut s'agir simplement d'une erreur dans 100 lignes de code.

Dans d'autres cas, l'information n'est pas fausse au sens traditionnel du terme, mais plutôt trompeuse. Par conséquent, dans un système comme ChatGPT, il est difficile de mesurer la qualité du résultat en termes de contenu ou d’exactitude de l’information.

Mais cette mesure est très importante pour les algorithmes RL conçus pour entraîner des limites comportementales complexes.

Actuellement, OpenAI s'appuie sur le modèle de récompense basé sur le classement du RLHF, qui est capable de prédire laquelle des deux réponses lui semble la meilleure, mais ne donne pas de signal efficace pour clarifier quelle réponse est la meilleure ou la plus informative. correct ou correct.

Schulman a déclaré qu'il lui manquait la capacité de fournir des commentaires au modèle pour apprendre de fines limites comportementales. Et ce genre de frontière comportementale fine est le moyen possible de résoudre l’illusion.

De plus, ce processus est encore compliqué par l'erreur humaine dans le processus d'étiquetage RLHF.

Par conséquent, bien que Schulman considère RL comme l'un des moyens importants de réduire les hallucinations, il estime qu'il reste encore de nombreux problèmes non résolus.

À l'exception de ce à quoi doit ressembler le modèle de récompense mentionné ci-dessus pour guider un comportement correct, RLHF ne s'appuie actuellement que sur le jugement humain.

Cela peut rendre la génération de connaissances plus difficile. Parce que les prédictions sur l’avenir conduisent parfois à des présentations moins convaincantes.

Cependant, Schulman estime que la génération de connaissances est la prochaine étape importante dans les modèles de langage. En même temps, il estime que la construction théorique de problèmes tels que prédire l'avenir et donner des règles d'inférence sont le prochain type de problèmes ouverts. doivent être résolus de toute urgence.

Schulman a déclaré qu'une solution possible consiste à utiliser d'autres modèles d'IA pour former des modèles de langage.

OpenAI estime également que cette méthode est très significative pour l'alignement de l'IA.

Architecte ChatGPT

En tant qu'architecte de ChatGPT, John Schulman a rejoint OpenAI en tant que co-fondateur dès 2015, alors qu'il étudiait encore pour un doctorat.

Dans une interview, Schulman a expliqué la raison pour laquelle il a rejoint OpenAI :

Je veux faire des recherches sur l'intelligence artificielle. Je pense qu'OpenAI a une mission ambitieuse et s'engage à construire une intelligence artificielle générale. .

Même si parler d'AGI semblait un peu fou à l'époque, je pensais qu'il était raisonnable de commencer à y penser et je voulais être dans un endroit où parler d'AGI était acceptable.

De plus, selon Schulman, l'idée d'OpenAI d'introduire l'apprentissage par renforcement par feedback humain (RLHF) dans ChatGPT remonte à il y a 17 ans.

A cette époque, il était également membre d'OpenAI et a publié un article "Deep Reinforcement Learning from Human Preferences" qui mentionnait cette méthode.

Adresse papier : https://arxiv.org/pdf/1706.03741.pdf

La raison pour laquelle l'équipe de sécurité d'OpenAI s'engage dans ce travail est qu'elle veut que ses modèles soient cohérents avec les préférences des humains – en essayant d'amener le modèle à réellement écouter les humains et à essayer de faire ce que les humains veulent faire.

Lorsque GPT-3 a terminé sa formation, Schulman a décidé de rejoindre cette tendance car il a vu le potentiel de l'ensemble de la direction de la recherche.

Quand on lui a demandé quelle a été sa première réaction lorsqu'il a utilisé ChatGPT pour la première fois, les mots de Schulman n'ont révélé « aucune émotion ».

Je me souviens encore de la sortie de ChatGPT l’année dernière, qui a fait exploser instantanément le cerveau de nombreuses personnes.

Et personne au sein d'OpenAI n'est enthousiasmé par ChatGPT. Étant donné que le ChatGPT publié était un modèle plus faible basé sur GPT-3.5, des collègues jouaient avec GPT-4 à cette époque.

Donc, à cette époque, personne chez OpenAI n'était enthousiasmé par ChatGPT car il existait un modèle tellement plus puissant et plus intelligent qui avait déjà été formé.

Concernant la prochaine frontière de l'intelligence artificielle dans le futur, Schulman a déclaré que l'IA continue de progresser dans des tâches plus difficiles, et alors la question se pose de savoir que devraient faire les humains et dans quelles tâches les humains peuvent-ils réussir dans leur ensemble. des tâches à grande échelle ? Avoir plus d'impact et faire plus à l'aide de modèles.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!