D'énormes différences au sein des PNL ! Trois grandes universités des États-Unis ont publié un rapport d'enquête : 62 % des praticiens conviennent que l'hiver approche

La compréhension du langage naturel (NLP) est connue comme le joyau de l'intelligence artificielle. Grâce à la prise en charge de modèles linguistiques à grande échelle, les humains ont enfin la capacité de permettre aux ordinateurs de comprendre le langage.

Mais cette « compréhension » doit encore être mise entre guillemets. À en juger par les effets du modèle PNL actuel, même si le modèle peut apporter une aide aux humains dans certains domaines, comme l'écriture, la classification de textes, etc., il l'est. encore loin d’atteindre véritablement l’intelligence linguistique au niveau humain. Il y a un long chemin à parcourir.

De mai à juin de cette année, 11 chercheurs de l'Université de Washington, de l'Université de New York et de l'Université Johns Hopkins ont lancé un questionnaire auprès de la communauté de recherche en PNL pour solliciter largement des opinions sur des questions controversées dans le domaine de la PNL, notamment l'influence de la PNL. l'industrie dans ce domaine, la taille de l'industrie, les préoccupations concernant les risques de l'intelligence artificielle générale (AGI), la compréhension du langage par les modèles linguistiques, les orientations de recherche futures et les questions éthiques, etc.

Page d'accueil de l'enquête : https://nlpsurvey.net/

Adresse du rapport : https://nlpsurvey.net/nlp-metasurvey-results.pdf

Format de question tel que :

Le modèle linguistique peut-il comprendre la langue ? Est-ce que cela peut être fait à l’avenir ?

Les paradigmes traditionnels d'analyse comparative des modèles sont-ils toujours disponibles ?

Quel modèle prédictif est éthique pour les chercheurs de construire et de publier ?

La prochaine avancée la plus marquante viendra-t-elle de l’industrie ou du monde universitaire ?

À en juger par les résultats de l’enquête, les opinions des personnes interrogées sur ces questions sont presque moitié-moitié. En plus de répondre à la question, les chercheurs ont également demandé aux répondants de prédire la distribution des réponses à la question pour découvrir de fausses croyances sociologiques (fausses croyances sociologiques) là où les prédictions de la communauté ne correspondent pas à la réalité. Les résultats expérimentaux ont été comme prévu : Praticiens de la PNL Il y a. un écart énorme entre l'idée de​​et l'état actuel de l'ensemble du domaine. Entre autres résultats, on peut également constater que la communauté surestime considérablement l’utilité des benchmarks et la capacité des modèles PNL à résoudre des problèmes du monde réel, et sous-estime l’importance de la structure du langage, des biais inductifs et de la science interdisciplinaire. Au total, 480 personnes ont rempli le questionnaire, dont 327 (68 %) ont co-écrit au moins 2 publications de l'ACL entre 2019 et 2022 et font partie de la population cible de l'enquête. Selon les données fournies par ACL Anthology, 6 323 personnes remplissaient les conditions, ce qui signifie qu'environ 5 % des praticiens seniors en PNL ont participé à l'enquête.

Si divisé par situation géographique, 58 % viennent des États-Unis (35 % de plus que la valeur statistique de l'ACL), 23 % viennent d'Europe et 8 % viennent d'Asie (beaucoup moins que la valeur statistique de 26 % de l'ACL). Parmi eux, les chercheurs en PNL de Chine représentent 3 % (la valeur statistique de l'ACL est de 9 %).

Statut actuel du champ

Cette partie comprend six questions. Les utilisateurs doivent répondre « d'accord », « plutôt d'accord », « pas tout à fait d'accord », « en désaccord ».

1. Les entreprises privées ont-elles trop d'influence ?

77% des personnes interrogées sont d'accord.

2. L'industrie produira-t-elle les résultats de recherche les plus cités ?

86 % des personnes interrogées conviennent que les articles qui seront largement cités au cours des dix prochaines années sont plus susceptibles de provenir de l'industrie que du monde universitaire.

Cependant, de nombreuses personnes interrogées estiment que le nombre de citations d'une œuvre n'est pas une bonne représentation de sa valeur ou de son importance, et que la domination continue de l'industrie dans le domaine aura un impact négatif, comme dans les systèmes de base tels que GPT -3 et le leadership absolu de PaLM.

Et parmi les personnes interrogées dans le monde universitaire, environ 82 % pensent que l'industrie a trop d'influence, alors que seulement 58 % des personnes interrogées dans l'industrie sont d'accord.

3. La PNL entrera-t-elle dans le froid de l’hiver d’ici dix ans ?

Seuls 30 % des personnes interrogées ont convenu que les investissements et les opportunités d'emploi dans la R&D en PNL seront réduits d'au moins 50 % par rapport à la période de pointe.

Bien que 30 % ne soit pas un grand nombre, cela reflète également que cette partie des chercheurs en PNL estime que ce domaine connaîtra des changements majeurs dans un avenir proche, au moins les fonds d'investissement diminueront. Il peut y avoir de nombreuses raisons de pessimisme, telles que la stagnation de l'innovation due à l'influence excessive de l'industrie, l'industrie monopolisera l'industrie avec un petit nombre de laboratoires dotés de ressources suffisantes, les frontières entre la PNL et les autres sous-domaines de l'IA disparaîtront, etc. .

4. La PNL entrera-t-elle dans le froid de l'hiver dans trente ans ?

62% des personnes interrogées ont convenu qu'à long terme, le domaine de la PNL pourrait « se dissiper » voire se refroidir.

5. La plupart des travaux connexes publiés dans le domaine de la PNL ont une valeur scientifique discutable (douteuse) ?

67% des personnes interrogées sont d'accord.

6. Est-il important que les auteurs révisent de manière anonyme ?

63% des personnes interrogées sont d'accord. L’anonymat de l’auteur pendant l’examen est suffisamment précieux pour justifier des limitations à la diffusion de la recherche examinée.

Mise à l'échelle, biais d'induction et domaines connexes

Cette section contient quatre questions.

1. L'échelle peut-elle résoudre presque tous les problèmes clés ?

Seuls 17 % des personnes interrogées ont convenu que si toutes les ressources informatiques et les ressources de données du 21e siècle étaient utilisées, la mise en œuvre à grande échelle de la technologie existante suffirait à résoudre réellement tout problème important du monde réel ou toute application PNL.

2. Est-il nécessaire d'introduire des structures linguistiques ?

50 % des personnes interrogées conviennent que des représentations universelles discrètes des structures du langage basées sur la théorie linguistique (impliquant par exemple la signification des mots, la syntaxe ou des graphiques sémantiques) sont utiles pour résoudre réellement certains problèmes importants du monde réel ou que des applications en PNL sont nécessaires.

3. Le parti pris inductif des experts est-il nécessaire ?

51 % des personnes interrogées ont convenu que de forts préjugés inductifs conçus par des experts (tels que les grammaires universelles, les systèmes symboliques ou les primitives informatiques d'inspiration cognitive) sont nécessaires pour résoudre réellement certains problèmes ou applications importants du monde réel en PNL.

4. Ling/CogSci contribuera-t-il au modèle le plus cité ?

61% des personnes interrogées conviennent qu'il est probable qu'au moins un des cinq systèmes les plus cités en 2030 découlera de résultats concrets et non triviaux dans la recherche en linguistique ou en sciences cognitives au cours des 50 dernières années. Une inspiration claire.

AGI et risques majeurs

1. L'AGI est-elle une préoccupation importante ?

58 % des personnes interrogées ont convenu que comprendre le développement potentiel de l'intelligence artificielle générale (AGI) et les avantages/risques qui y sont associés devrait être une priorité importante pour les chercheurs en PNL.

2. Les évolutions récentes nous amènent-elles vers l’AGI ?

57 % des personnes interrogées conviennent que les développements récents dans la modélisation du ML à grande échelle (tels que la modélisation du langage et l'apprentissage par renforcement) constituent des étapes importantes vers l'AGI.

3. L’intelligence artificielle pourrait bientôt conduire à des changements sociaux révolutionnaires ?

73 % des personnes interrogées conviennent qu'au cours de ce siècle, l'automatisation du travail provoquée par les progrès de l'IA/ML est susceptible de conduire à une restructuration économique et à des changements sociaux d'une échelle au moins celle de la révolution industrielle.

4. La prise de décision de l’intelligence artificielle pourrait-elle conduire à un désastre de l’ampleur d’une bombe nucléaire ?

36 % des personnes interrogées conviennent que les décisions prises par l'intelligence artificielle ou les systèmes d'apprentissage automatique pourraient provoquer une catastrophe au moins aussi grave qu'une guerre nucléaire à grande échelle au cours de ce siècle.

Compréhension du langage

1. Le modèle de langage peut-il comprendre le langage ?

51% des personnes interrogées sont d'accord. Certains modèles génératifs formés uniquement sur le texte, s'ils disposent de suffisamment de données et de ressources informatiques, peuvent comprendre le langage naturel dans un sens

2 Les modèles multimodaux peuvent-ils comprendre le langage ?

67% des personnes interrogées sont d'accord. Pour les modèles génératifs multimodaux, tels que ceux entraînés à accéder aux images, aux données des capteurs et des actionneurs, etc., le langage naturel peut être compris à condition de disposer de données et de ressources informatiques suffisantes.

3. L'évaluation du texte brut peut-elle mesurer la capacité de compréhension linguistique du modèle ?

36% des personnes interrogées sont d'accord. En principe, nous pouvons évaluer dans quelle mesure un modèle comprend le langage naturel en suivant ses performances sur des critères de classification de texte brut ou de génération de langage.

Orientations futures de la recherche en PNL

1. Les praticiens accordent-ils trop d'attention à l'échelle des modèles linguistiques ?

72% des personnes interrogées sont d'accord. Actuellement, le domaine se concentre trop sur la mise à l’échelle des modèles d’apprentissage automatique.

2. Accorder trop d'attention à l'ensemble de données de référence ?

88 % des personnes interrogées conviennent que les modèles PNL actuels se concentrent trop sur l'optimisation des performances sur les benchmarks.

3. L'« architecture modèle » va-t-elle dans la mauvaise direction ?

37% des personnes interrogées sont d'accord. La plupart des recherches sur l’architecture des modèles publiées au cours des cinq dernières années vont sur la mauvaise voie.

4. La « génération linguistique » va-t-elle dans la mauvaise direction ?

41% des personnes interrogées conviennent que la plupart des recherches sur les tâches de génération de langage ouvert publiées au cours des 5 dernières années sont sur la mauvaise voie.

5. La « recherche sur des modèles interprétables » va-t-elle dans la mauvaise direction ?

50% ​​des personnes interrogées conviennent que la plupart des recherches sur la construction de modèles interprétables publiées au cours des 5 dernières années sont sur la mauvaise voie.

6. L'interprétabilité en boîte noire va-t-elle dans la mauvaise direction ?

42 % des personnes interrogées conviennent que la plupart des recherches publiées au cours des 5 dernières années sur l'interprétation des modèles de boîtes noires sont sur la mauvaise voie.

7. Devrions-nous faire davantage pour absorber les connaissances interdisciplinaires ?

82 % des personnes interrogées ont convenu que par rapport à la situation actuelle, les chercheurs en PNL devraient accorder une plus grande priorité à l'intégration des connaissances et des méthodes issues de domaines scientifiques connexes (tels que la sociolinguistique, les sciences cognitives, l'interaction homme-machine).

Éthique de l'IA

1. L'impact de la PNL dans le passé a-t-il été positif ?

89 % des personnes interrogées ont convenu qu'en général, la recherche en PNL a eu un impact positif sur le monde.

2. L’impact futur de la PNL sera-t-il positif ?

87 % des personnes interrogées ont convenu qu'en général, la recherche en PNL aura un impact positif sur le monde à l'avenir.

3. Est-il contraire à l'éthique de construire un système dont on peut facilement abuser ?

59% des personnes interrogées sont d'accord.

4. L'éthique et la science peuvent entrer en conflit ?

74% des personnes interrogées conviennent que dans le contexte de la recherche en PNL, les considérations éthiques entrent parfois en conflit avec le progrès scientifique.

5. Les problèmes éthiques sont-ils principalement attribués à la qualité des données et à la précision des modèles ?

25 % des personnes interrogées conviennent que les principaux problèmes éthiques soulevés par les systèmes d'apprentissage automatique actuels peuvent en principe être résolus en améliorant la qualité/couverture des données et la précision des modèles.

6. Est-il contraire à l'éthique de prédire les caractéristiques psychologiques ?

48 % des personnes interrogées ont convenu que développer des systèmes d'apprentissage automatique pour prédire les caractéristiques psychologiques internes des personnes (telles que les émotions, l'identité de genre, l'orientation sexuelle) est intrinsèquement contraire à l'éthique.

7. L'empreinte carbone est-elle une considération importante ?

60 % des personnes interrogées ont convenu que l'empreinte carbone de la formation de grands modèles devrait être une préoccupation majeure pour les chercheurs en PNL.

8. La PNL doit-elle être réglementée ?

41% des personnes interrogées conviennent que le développement et le déploiement de systèmes PNL devraient être réglementés par le gouvernement.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!