La lettre ouverte de Musk et d’autres appelant à la suspension de la recherche sur l’IA a été remise en question et accusée d’exacerber le battage médiatique et de déformer les articles.

Nouvelles du 31 mars, Elon Musk, PDG de Tesla, Steve Wozniak, co-fondateur d'Apple et des milliers d'autres. Plusieurs chercheurs en IA ont récemment signé une lettre ouverte appelant à un moratoire sur la recherche sur des technologies d'IA plus avancées. Cependant, cette lettre a été remise en question par de nombreux experts et même par des signataires, et a été accusée d'exacerber le battage médiatique sur l'IA, de falsifier des signatures et de déformer des documents.

Cette lettre ouverte a été rédigée par le Future of Life Institute, une organisation à but non lucratif dont la mission est de « réduire les risques catastrophiques et existentiels mondiaux posés par les technologies puissantes ». Plus précisément, l’institut se concentre sur l’atténuation des risques « existentiels » à long terme pour l’humanité, tels que l’IA superintelligente. Musk soutient l'organisation et lui a fait don de 10 millions de dollars en 2015.

La lettre dit : « Des systèmes d’IA plus puissants ne devraient être développés que lorsque nous serons convaincus que l’impact de l’IA est positif et que les risques sont contrôlables. Par conséquent, nous appelons tous les laboratoires d’IA à suspendre immédiatement pendant au moins 6 mois la formation en IA. des systèmes plus puissants que GPT-4. Les laboratoires d'IA et les experts indépendants devraient profiter de ce temps pour travailler ensemble pour développer et mettre en œuvre un ensemble de protocoles de sécurité partagés pour la conception et le développement avancés d'IA qui sont rigoureusement audités et supervisés par des experts externes indépendants "

. La lettre précise également : "Cela ne signifie pas que le développement de l'IA est en général suspendu, mais simplement un retrait d'une concurrence dangereuse vers des modèles de boîtes noires plus grands et imprévisibles dotés de capacités émergentes". comme Microsoft et Google, qui ont lancé de nombreux nouveaux produits d'IA au cours de l'année écoulée.

Autres signataires notables figurent Emad Mostaque, PDG de la startup de génération d'images Stability AI, ainsi que l'auteur et historien Yuval Noah Harari et le co-fondateur de Pinterest Evan Sharp, entre autres. Il y avait également des signatures d'employés d'entreprises impliquées dans le concours d'IA, notamment la société sœur de Google, DeepMind et Microsoft. Bien qu’OpenAI ait développé et commercialisé la série de modèles d’IA GPT, personne n’a signé la lettre.

Malgré le processus de vérification, la lettre comportait initialement de nombreux faux signataires, notamment l'usurpation d'identité du PDG d'OpenAI, Sam Altman, et du scientifique en chef de l'IA de Meta, Yann LeCun). Le Future of Life Institute a depuis nettoyé la liste et suspendu l’affichage de plus de signatures sur la lettre pendant qu’il vérifie chaque signature.

Cependant, la publication de cette lettre ouverte a provoqué un tollé et a été scrutée par de nombreux chercheurs en IA, dont de nombreux signataires eux-mêmes. Certains signataires ont renoncé à leur position, certains noms très médiatisés ont vu leurs signatures fausses, et de plus en plus de chercheurs et d'experts en IA ont publiquement exprimé leurs objections à la description de la lettre et à l'approche proposée.

Gary Marcus, professeur de psychologie et de neurosciences à l'Université de New York, a déclaré : « La lettre n'est pas parfaite, mais l'esprit est correct. » Pendant ce temps, Mushtaq, PDG de Stability AI, a tweeté qu'OpenAI est une entreprise d'IA véritablement « ouverte ». "Donc, je ne pense pas que suspendre la formation pendant six mois soit la meilleure idée, et je ne suis pas d'accord avec de nombreux points de vue exprimés dans la lettre, mais il y a certaines choses dans la lettre qui sont très intéressantes." »

Les experts en IA ont critiqué la lettre pour avoir favorisé le « battage médiatique sur l’IA », mais pour avoir omis d’énumérer ou d’appeler à une action concrète sur les méfaits de l’IA qui existent aujourd’hui. Certains affirment que cela favorise une vision de longue date, mais quelque peu irréaliste, qui a été critiquée comme étant néfaste et antidémocratique, car elle favorise les super-riches et leur permet d’adopter des mesures moralement douteuses pour certains motifs.

Emily M. Bender, professeur au Département de linguistique de l'Université de Washington et co-auteur de l'article cité au début de la lettre ouverte, a écrit sur Twitter que la lettre est "criblée de battage médiatique sur l'IA" et utilisée à mauvais escient. ses résultats de recherche. La lettre indiquait : « Des recherches approfondies montrent que les systèmes d'IA dotés d'une intelligence semblable à celle des humains peuvent constituer une menace importante pour la société et l'humanité. » Mais Bender a rétorqué qu'elle avait spécifiquement souligné dans l'étude que cette menace faisait référence aux modèles linguistiques actuels à grande échelle. et leur utilisation dans des systèmes d’oppression, ce qui est bien plus concret et urgent que les futures menaces de l’IA avancées dans la lettre ouverte.

Bender a continué d'écrire : « Nous avons publié un article complet fin 2020 soulignant que cette ruée vers la construction de modèles de langage plus grands sans tenir compte des risques est problématique. Mais le risque et le préjudice n'ont jamais été que « l'IA est trop puissante », sur au contraire, il s’agit de la concentration du pouvoir entre les mains du peuple, il s’agit de reproduire des systèmes d’oppression, il s’agit de la destruction des écosystèmes d’information, il s’agit de la destruction des écosystèmes naturels, etc. »

Sasha Luccioni, chercheuse à la startup d'IA Hugging Face, a déclaré dans une interview : « La lettre ouverte est essentiellement trompeuse : attirer l'attention de tout le monde sur le pouvoir imaginé et la puissance des grands modèles de langage est préjudiciable et propose des modèles de langage très vagues et pour la plupart inefficaces. solutions, plutôt que de se concentrer sur ces préjudices et de les résoudre ici et maintenant, par exemple en demandant plus de transparence en ce qui concerne les données et les capacités de formation de LLM, ou en demandant une législation précisant où et quand peuvent-elles être utilisées " Arvind Narayanan ? , professeur agrégé d'informatique à l'Université de Princeton, a déclaré que la lettre ouverte est pleine de battage médiatique sur l'IA et "rend encore plus important de s'attaquer aux problèmes réels et continus de l'IA. "

La lettre ouverte soulève plusieurs questions : « Devons-nous automatiser tous les emplois, y compris ceux qui sont épanouissants ? Devons-nous cultiver des esprits non humains qui pourraient à terme dépasser l’intelligence humaine et nous remplacer ? risque de perdre le contrôle de la civilisation ? »

À cet égard, Narayanan a déclaré que ces questions sont « absurdes » et « absolument ridicules ». La question de savoir si les ordinateurs remplaceront les humains et prendront le contrôle de la civilisation humaine est une question très lointaine, qui fait partie d’une réflexion à long terme qui nous détourne des problèmes actuels. Après tout, l’IA est déjà intégrée dans les emplois des gens, réduisant le besoin de certains métiers, plutôt que d’être une forme de « pensée non humaine » qui nous rendra « obsolètes ».

Narayanan a également déclaré : « Je pense que ces préoccupations peuvent être considérées comme légitimes à long terme, mais elles ont été mentionnées à maintes reprises, détournant l'attention des préjudices actuels, y compris des risques très réels en matière de sécurité de l'information et de sécurité ! Et s'attaquer à ces risques de sécurité permettra "C'est encore plus difficile. " De nombreux signataires de la lettre ouverte se sont également défendus. Yoshua Bengio, fondateur et directeur scientifique de l'organisme de recherche Mila, a déclaré que le moratoire de six mois est nécessaire pour que les organes de gouvernance, y compris les gouvernements, comprennent, auditent et valident les systèmes d'IA afin de garantir leur efficacité. Il a ajouté qu'il existe de dangereuses concentrations de pouvoir, que les outils d'IA ont le potentiel de déstabiliser les démocraties et qu'"il existe un conflit entre les valeurs démocratiques et la manière dont ces outils sont développés".

Max Tegmark, professeur de physique au NSF AI and Fundamental Interaction Institute (IAIFI) du MIT et directeur du Future of Life Institute, a déclaré que le pire des cas est que les humains perdent progressivement leur compréhension du contrôle de la civilisation. Le risque maintenant, a-t-il déclaré, est que "nous perdions le contrôle au profit d'un groupe de personnes puissantes non élues dans les entreprises technologiques qui ont trop d'influence". mais aucune mesure concrète n'a été évoquée autre que l'appel à un moratoire de 6 mois.

Timnit Gebru, informaticien et fondateur du Distributed AI Institute, a posté sur Twitter qu'il était ironique qu'ils appellent à un moratoire sur la formation de modèles d'IA plus puissants que GPT-4, mais n'ont pas réussi à répondre à une foule de préoccupations concernant GPT-4 lui-même.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!