L’appel à la suspension de la recherche et du développement du GPT-5 déclenche une bataille acharnée ! Andrew Ng et LeCun ont pris la tête de l'opposition, tandis que Bengio les a soutenus.

Hier, une lettre commune écrite par des milliers de grands pour suspendre la formation en super IA pendant six mois a explosé comme une bombe sur Internet dans le pays et à l'étranger.

Après une journée de bisbilles, plusieurs personnalités clés et autres grands noms sont venus réagir publiquement.

Certains sont très officiels, certains sont très personnels et certains ne font pas directement face au problème. Mais une chose est sûre : les points de vue de ces grands acteurs et des groupes d’intérêt qu’ils représentent méritent d’être examinés attentivement.

Ce qui est intéressant, c'est que parmi les Turing Big Three, l'un a pris les devants en signant, un fortement opposé et un n'a pas dit un mot.

Signature de Bengio, silence de Hinton, opposition de LeCun

Enda Ng (opposition)

Dans cet incident, Andrew Ng, ancien membre de Google Brain et fondateur de la plateforme d'éducation en ligne Coursera, est une opposition tranchée.

Il a clairement exprimé son attitude : suspendre « faire progresser l'IA au-delà de GPT-4 » pendant 6 mois est une très mauvaise idée.

Il a déclaré avoir vu de nombreuses nouvelles applications de l'IA dans l'éducation, les soins de santé, l'alimentation et d'autres domaines, et que de nombreuses personnes en bénéficieront. Et améliorer GPT-4 serait également bénéfique.

Ce que nous devrions faire, c'est trouver un équilibre entre l'énorme valeur créée par l'IA et les risques réels.

Concernant ce qui a été mentionné dans la lettre commune, "Si la formation d'IA surpuissante ne peut pas être rapidement suspendue, le gouvernement devrait également être impliqué que cette idée est terrible."

Il a déclaré que demander au gouvernement de suspendre les technologies émergentes qu'il ne comprend pas est anticoncurrentiel, crée un mauvais précédent et constitue une terrible innovation politique.

Il a admis que l'IA responsable est importante et que l'IA comporte des risques.

Mais l’affirmation des médias selon laquelle « les sociétés d’IA publient des codes dangereux comme des fous » est évidemment trop exagérée. La grande majorité des équipes d’IA attachent une grande importance à une IA responsable et à la sécurité. Mais il a également admis que "malheureusement, pas tous".

Enfin, il a souligné à nouveau :

Une période de suspension de 6 mois n'est pas une suggestion pratique. Pour améliorer la sécurité de l’IA, les réglementations en matière de transparence et d’audit seront plus pratiques et auront un plus grand impact. À mesure que la technologie progresse, investissons également davantage dans la sécurité au lieu d’étouffer le progrès.

Sous son Twitter, les internautes ont déjà exprimé une forte opposition : La raison pour laquelle les patrons sont calmes est probablement parce que la douleur du chômage ne leur tombera pas dessus.

LeCun (Opposition)

Dès que la lettre commune a été envoyée, les internautes se sont précipités pour leur dire : les géants du prix Turing, Bengio et LeCun, ont tous deux signé la lettre !

LeCun, qui surfe toujours en première ligne sur Internet, a immédiatement réfuté les rumeurs : Non, je n'ai pas signé, et je ne suis pas d'accord avec la prémisse de cette lettre.

Certains internautes ont dit que je n'étais pas non plus d'accord avec cette lettre, mais je suis très curieux : la raison pour laquelle vous n'êtes pas d'accord avec cette lettre est que vous pensez que LLM n'est pas assez avancé et ne peut pas du tout menacer l'humanité, ou est-ce pour d'autres raisons ?

Mais LeCun n’a répondu à aucune de ces questions.

Après 20 heures de silence mystérieux, LeCun a soudainement retweeté le tweet d'un internaute :

"OpenAI a attendu 6 mois avant de sortir GPT4 ! Ils ont même écrit à ce sujet. Un livre blanc..."

En réponse , LeCun a loué : Vous avez raison. La soi-disant « suspension de la recherche et du développement » n'est rien d'autre qu'une « recherche et développement secret ». C'est exactement le contraire de ce qu'espèrent certains signataires.

Il semble que rien ne puisse être caché aux yeux perspicaces de LeCun.

L'internaute qui a posé la question auparavant était également d'accord : c'est pourquoi je m'oppose à cette pétition - aucun "méchant" ne s'arrêtera vraiment.

"Donc, c'est comme un traité sur les armes que personne ne respecte ? N'y a-t-il pas beaucoup d'exemples de cela dans l'histoire ?"

Au bout d'un moment, il a retweeté le tweet d'un grand patron.

Le patron a déclaré : « Je ne l'ai pas signé non plus. Cette lettre est remplie d'un tas de rhétoriques terribles et de prescriptions politiques invalides/inexistantes. LeCun a déclaré : « Je suis d'accord ».

Bengio et Marcus (oui)

La première personne à signer la lettre ouverte est le célèbre lauréat du prix Turing Yoshua Bengio.

Bien sûr, le professeur Marcus de NYU a également voté pour. Il semble être le premier à dénoncer cette lettre ouverte.

Après que la discussion soit devenue plus bruyante, il a rapidement publié un blog expliquant sa position, qui était encore plein de points forts.

Dernières nouvelles : La lettre que j'ai mentionnée plus tôt est désormais publique. La lettre appelle à un moratoire de six mois sur la formation d'IA "plus puissante que GPT-4". De nombreuses personnes célèbres l'ont signé. J'ai également adhéré.

Je n'ai pas été impliqué dans sa rédaction car il y a d'autres choses à régler (par exemple, quelles IA sont plus puissantes que GPT-4 ? Puisque les détails de l'architecture ou de l'ensemble de formation de GPT-4 n'ont pas encore été publiés, alors où faire nous le savons ? ) – mais l’esprit de la lettre est celui que je soutiens : jusqu’à ce que nous puissions mieux gérer les risques et les avantages, nous devons procéder avec prudence.

Il sera intéressant de voir ce qui se passera ensuite.

Et un autre point de vue avec lequel Marcus vient d'exprimer 100% d'accord est également très intéressant. Ce point de vue dit :

GPT-5 ne sera pas AGI. Il est presque certain qu’aucun modèle GPT ne serait AGI. Il est totalement impossible qu'un modèle optimisé avec les méthodes que nous utilisons aujourd'hui (descente de gradient) soit AGI. Le prochain modèle GPT va certainement changer le monde, mais en faire un battage médiatique excessif est fou.

Altman (sans engagement)

Pour l'instant, Sam Altman n'a pas pris de position claire sur cette lettre ouverte.

Cependant, il a exprimé quelques points de vue sur l'intelligence artificielle générale.

Qu'est-ce qui constitue une bonne intelligence artificielle générale :

1. Alignement des capacités techniques pour la superintelligence

2. Une coordination adéquate entre la majorité des principaux efforts d'AGI

3. Un cadre réglementaire mondial efficace

Certains internautes se sont interrogés : " Aligné avec quoi ? Aligné avec qui ? Aligné avec certaines personnes, signifie ne pas être aligné avec d'autres personnes.

Greg Brockman, un autre fondateur d'OpenAI, a retweeté le tweet d'Altman et a une fois de plus souligné que la mission d'OpenAI "est de garantir que l'AGI profite à toute l'humanité

Une fois de plus, un internaute a souligné ce qui suit". points : Vous parlez toute la journée de « l'alignement sur l'intention du concepteur », mais à part cela, personne ne sait ce que signifie réellement l'alignement.

Yudkowsky (Radical)

Il existe également un théoricien de la décision nommé Eliezer Yudkowsky, qui a une attitude plus radicale :

Il ne suffit pas de suspendre le développement de l'IA, nous devons arrêter toute l'IA ! Tout est fermé !

Si cela continue, chacun de nous mourra.

Dès que la lettre ouverte a été publiée, Yudkowsky a immédiatement écrit un long article et l'a publié dans le magazine TIME.

Il a dit qu'il n'avait pas signé car à son avis, la lettre était trop douce.

Cette lettre sous-estime la gravité de la situation et demande que trop peu de problèmes soient résolus.

Il a dit que la question clé n'est pas l'intelligence de « rivaliser avec les humains ». Évidemment, lorsque l'IA devient plus intelligente que les humains, cette étape est évidente.

Le fait est que de nombreux chercheurs, dont lui, pensent que la conséquence la plus probable de la construction d’une IA dotée d’une intelligence surhumaine est la mort de tous les habitants de la planète.

n'est pas « peut-être », mais « sera certainement ».

S'il n'y a pas assez de précision, le résultat le plus probable est que l'IA que nous créons ne fera pas ce que nous voulons, et ne se souciera pas non plus de nous ou des autres êtres sensibles.

Théoriquement, nous devrions pouvoir apprendre à l’IA à apprendre ce genre de soins, mais pour l’instant nous ne savons pas comment.

S'il n'y a pas de tels soins, le résultat que nous obtenons est le suivant : L'IA ne vous aime pas et ne vous déteste pas. Vous n'êtes qu'un tas de matériaux atomiques qui peuvent être utilisés pour tout faire.

Et si les humains veulent résister à une IA surhumaine, ils échoueront inévitablement, tout comme « le 11ème siècle a tenté de vaincre le 21ème siècle » ou « les Australopithèques ont tenté de vaincre Homo sapiens ».

Yudkowsky a dit que l'IA que nous imaginons faire de mauvaises choses est un penseur qui vit sur Internet et envoie des e-mails malveillants aux humains chaque jour, mais en fait, il peut s'agir d'une IA surhumaine hostile, un nombre de vitesse de réflexion Aux yeux d’une civilisation extraterrestre un million de fois plus grande que les humains, les humains sont stupides et lents.

Lorsque cette IA sera suffisamment intelligente, elle ne restera pas seulement dans l'ordinateur. Il peut envoyer la séquence d'ADN au laboratoire par courrier électronique, et le laboratoire produira la protéine à la demande, puis l'IA aura une forme de vie. Par la suite, tous les êtres vivants sur terre mourront.

Comment les humains devraient-ils survivre dans cette situation ? Nous n'avons aucun projet pour le moment.

OpenAI n’est qu’un appel public à l’alignement dont l’IA future a besoin. Et DeepMind, un autre laboratoire leader en IA, n’a aucun projet.

Du blog officiel d'OpenAI

Ces dangers existent, que l'IA soit consciente ou non. Son puissant système cognitif peut travailler dur pour optimiser et calculer des résultats standard qui satisfont des résultats complexes.

En effet, l'IA actuelle pourrait simplement imiter la conscience de soi à partir des données d'entraînement. Mais nous savons en réalité très peu de choses sur la structure interne de ces systèmes.

Si nous ignorons encore GPT-4 et que GPT-5 a développé des capacités étonnantes, tout comme de GPT-3 à GPT-4, alors il nous est difficile de savoir quels êtres humains l'ont créé . GPT-5, ou l'IA elle-même.

Le 7 février, Nadella, PDG de Microsoft, s'est publiquement réjouie du fait que le nouveau Bing avait forcé Google à "sortir et faire une petite danse".

Son comportement est très irrationnel.

Nous aurions dû réfléchir à cette question il y a 30 ans. 6 mois ne suffisent pas pour combler le fossé.

Cela fait plus de 60 ans que le concept d'IA a été proposé. Nous devrions passer au moins 30 ans à garantir que l’IA surhumaine « ne tue personne ».

Nous ne pouvons tout simplement pas apprendre de nos erreurs, car une fois que vous vous trompez, vous êtes mort.

Si une pause de 6 mois permettait à la terre de survivre, je serais d'accord, mais ce ne sera pas le cas.

Ce que nous devons faire, c'est ceci :

1. La formation de nouveaux grands modèles linguistiques doit non seulement être suspendue indéfiniment, mais également mise en œuvre à l'échelle mondiale.

Et il ne peut y avoir aucune exception, y compris de la part du gouvernement ou de l'armée.

2. Arrêtez tous les grands clusters GPU, qui sont les grandes installations informatiques utilisées pour entraîner l'IA la plus puissante.

Suspendez tous les modèles qui entraînent l'IA à grande échelle, fixez un plafond à la puissance de calcul utilisée par chacun lors de la formation des systèmes d'IA et abaissez progressivement ce plafond au cours des prochaines années pour compenser des algorithmes de formation plus efficaces.

Les gouvernements et les militaires ne font pas exception et ont immédiatement mis en place des accords multinationaux pour empêcher que des comportements interdits ne soient transférés ailleurs.

Suivez tous les GPU vendus. S'il existe des informations selon lesquelles des clusters GPU sont construits dans des pays en dehors de l'accord, le centre de données incriminé devrait être détruit par des frappes aériennes.

Ce qui devrait être plus inquiétant, c'est la violation du moratoire que les conflits armés entre pays. Ne considérez rien comme un conflit entre des intérêts nationaux et sachez que quiconque parle de course aux armements est un imbécile.

À cet égard, soit nous vivons tous ensemble, soit nous mourons ensemble, ce n'est pas une politique mais un fait de la nature.

Vote

En raison du nombre écrasant de signatures, l'équipe a décidé de suspendre d'abord l'affichage afin que l'examen puisse rattraper son retard. (Les signatures en tête de liste sont toutes directement vérifiées)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!