Cet article vous apprend à utiliser ChatGPT pour rédiger rapidement un rapport

Cet article partagera l'ensemble du processus de formation de ChatGPT (la dernière version du modèle GPT-4) et de génération de rapports, et discutera des problèmes courants qui existent dans l'utilisation de ChatGPT et de la manière d'utiliser ChatGPT pour maximiser l'apprentissage, l'efficacité du travail et autres. problèmes.

Ce qui suit est l'ensemble du processus de génération d'un rapport de sécurité de l'IA.

Infrastructure

Sélection de sujets

Une sélection de sujets de haute qualité peut aider les chercheurs universitaires à déterminer rapidement le point d'entrée du rapport, guider les lecteurs pour capturer le thème principal du rapport et faire en sorte que l'ensemble du rapport présente une structure et une logique plus claires. En introduisant l'arrière-plan du rapport dans ChatGPT ou en fournissant des mots-clés et un aperçu, ChatGPT peut générer des sélections de sujets en quelques secondes pour référence des chercheurs.

Lorsque nous posons des questions, nous pouvons demander à ChatGPT de générer plusieurs sujets en même temps. Cela aide non seulement les chercheurs universitaires à sélectionner rapidement les titres qui répondent le mieux à leurs besoins, mais guide également les chercheurs à sortir des sentiers battus et à élargir leurs idées.

En fonction de la situation réelle, nous devons guider ChatGPT pour ajuster et optimiser les titres générés afin que la sélection de sujets du rapport final soit plus conforme aux besoins réels et plus ciblée.

Il convient de mentionner que les capacités linguistiques de ChatGPT sont étonnantes, notamment le « style Petit Livre rouge » et le « style Zhihu ». Afin d'améliorer l'effet de lecture et la diffusion du rapport, nous pouvons définir des exigences concernant la formulation et le style linguistique du titre.

Si vous avez besoin d'améliorer davantage le titre sans écart significatif par rapport au style et à la formulation du titre comme prévu, vous pouvez également émettre directement une commande « optimiser » sur ChatGPT. De même, lors de la saisie de commandes, le moyen le plus rapide et le plus efficace consiste à demander à ChatGPT de fournir plusieurs réponses à la fois afin de localiser les résultats plus rapidement et dans une plage plus large.

Créer un plan

Après avoir déterminé le sujet, nous pouvons utiliser ChatGPT pour créer un plan de rapport le plus basique, ce qui raccourcit considérablement le processus d'enquête préliminaire sur ordinateur, de tri des données et de sélection du rapport, et fournit une base pour recherches ultérieures Fournir des idées de base.

Avant cela, nous devons d'abord nous assurer que le contexte global du plan est fondamentalement conforme à nos attentes et qu'il n'y a pas de digressions, d'écarts, etc. majeurs, économisant ainsi le temps et le coût des corrections, ajustements et optimisations ultérieurs.

Pour obtenir ce résultat, nous devons d'abord laisser ChatGPT générer un résumé du rapport.

De toute évidence, la réponse ci-dessus a pris fin brusquement. Selon le responsable, la limite d'entrée et de sortie de GPT-4 est de 25 000 caractères, ce qui équivaut approximativement à 2 600 caractères chinois. Les résultats de nos tests montrent que le contenu des entrées et sorties de caractères chinois atteint généralement la limite supérieure entre 500 et 1 000 caractères.

Heureusement, les réponses interrompues en raison de la limite de caractères peuvent continuer à produire des résultats sous surveillance. Lors de l'exécution de cette opération, vous devez faire attention à évaluer la position où le contenu généré précédemment est interrompu afin de déterminer approximativement la proportion de contenu manquant. Si la position d'interruption est proche de la fin, le taux de réussite du modèle sera plus élevé. continuez à répondre.

L'objectif principal du résumé est de nous aider à définir la position globale du rapport et à clarifier la portée du plan du rapport, compte tenu des problèmes tels qu'une formulation incorrecte, une logique et une connexion de paragraphe qui peuvent apparaître dans le résumé. abstrait, nous n’avons pas besoin d’aller trop loin à ce stade.

Étant donné que cette étape se situe au tout début de la création du rapport, le contenu spécifique est généralement assez différent des résultats finaux du rapport, et le contenu textuel du résumé ne sera pas directement utilisé dans le rapport. Par conséquent, il nous suffit de vérifier l’objet et la portée du résumé, et après les ajouts, suppressions et modifications, le plan du rapport peut être généré.

On peut voir que le contour généré par ChatGPT a une structure et une logique de base à première vue, mais sa capacité à traiter des relations logiques profondes est encore très limitée.

Par exemple, le titre du chapitre 6, « Promouvoir la sensibilisation et l'éducation à la sécurité de l'IA », fait partie des recommandations de développement et est inclusif plutôt que parallèle au chapitre 7, « Conclusions et recommandations ». Un autre exemple est que les quatre sous-titres de la section « Gouvernance et supervision des risques liés à l'IA » de la partie 5 se concentrent tous sur des suggestions en matière de gouvernance des risques liés à l'IA, et les suggestions ont le défaut d'être vagues et manquent de caractère pratique, et ne couvrent pas l'IA pertinente. supervision. Tout contenu concernant l’état actuel et le développement.

Par conséquent, nous devons procéder à une inspection détaillée de la structure, de la logique globale et de la rationalité des opinions du plan, et en même temps, ajouter, supprimer et ajuster le contenu du plan en fonction des propres besoins du rapport.

Rompre avec la « pensée intuitive » est au cœur de ce processus. La différence la plus essentielle entre le modèle ChatGPT et la structure du cerveau humain réside dans la capacité à traiter des scénarios non linéaires et un jugement basé sur l'intuition. Après avoir reconnu cela, nous devons rendre la description du problème aussi détaillée, spécifique et logiquement claire que possible. Nous pouvons utiliser le style de description basé sur des points pour permettre à ChatGPT de comprendre les exigences avec plus de précision.

Les résultats générés ci-dessus reflètent à la fois les capacités et les limites de ChatGPT. D'une part, ChatGPT a compris et répondu avec précision aux instructions telles que « Intégrer le chapitre 6 dans le chapitre 7 », « Ajuster le cadre de reporting du chapitre 5 » et « Le point d'entrée de l'introduction ». D'un autre côté, le contenu des réponses de ChatGPT est relativement mécanique, et son niveau cognitif de bon sens et de connaissances intuitives est également très limité.

Prenons l'exemple de l'instruction « Intégrer le chapitre 6 dans le chapitre 7 ». ChatGPT s'approprie mécaniquement les sous-titres du chapitre 6 original directement au chapitre 7 (points 5, 6 et 7). De toute évidence, les points 5, 6 et 7 appartiennent tous à « l’amélioration de la sensibilisation et de l’éducation à la sécurité de l’IA » et ne peuvent pas être directement mis en parallèle avec plusieurs autres suggestions, ce qui entraîne un déséquilibre évident dans la structure générale. Pour un autre exemple, pour les instructions de modification du framework au chapitre 5, ChatGPT a directement copié les instructions de saisie intactes.

Nous avons guidé ChatGPT pour optimiser les problèmes ci-dessus un par un. Par exemple, nous avons demandé à ChatGPT de fusionner les trois titres du chapitre 6 en un seul point :

Encore une fois, bien que ChatGPT ait correctement compris le contenu de l'instruction, son opération d'exécution consistait simplement à combiner mécaniquement le contenu des titres 5, 6 et 7 en une longue phrase. Il est presque impossible que cette forme de titre vienne des mains de chercheurs humains. C'est parce que les chercheurs humains peuvent avoir une idée de. le format du titre du rapport sans presque avoir besoin de réfléchir aux présupposés de base (concision, orientation claire, forte généralisation, etc.), et ce type de connaissances de bon sens est ce que ChatGPT n'a pas.

À ce stade de la formation, il ne nous est pas difficile de tirer une conclusion générale : ne négligez pas d'expliquer à ChatGPT ces fonds de connaissances qui sont devenus du bon sens et des connaissances a priori dans les habitudes de pensée humaine, et ne présumez pas que ChatGPT peut générer tout contenu autre que les instructions. Les exigences de sortie peuvent être décrites spécifiquement.

Sur la base du résumé d'expérience ci-dessus, nous avons essayé de former à nouveau ChatGPT, optimisé cette partie du titre, limité la longueur du titre du 5ème point du chapitre 6 et répertorié les normes de référence spécifiques (avec 1, 2, 3, 4 des titres en points (de même longueur), et ont finalement obtenu des résultats relativement satisfaisants.

Écriture corporelle

Rédiger le corps d'un rapport est une tâche qui consiste à décoller des couches et des couches. En résumé, la méthode et la séquence de formation doivent suivre les principes de base suivants : d'abord confirmer l'orientation du grand chapitre, puis confirmer l'orientation du petit chapitre, et enfin optimiser le contenu du petit chapitre.

Afin de réduire autant que possible le temps nécessaire aux corrections et retouches ultérieures, nous devons d'abord nous assurer que le contenu généré de chaque chapitre ne s'écarte pas de manière significative des attentes, et ajuster le cadre de chaque chapitre en fonction de la réponse ChatGPT. contenu.

En prenant le contenu du chapitre 3 comme exemple, nous demandons d'abord à ChatGPT de décrire le contenu à générer.

À première vue, il n'y a aucun problème évident avec les idées de réponses de ChatGPT, et elles sont assez organisées. Une lecture attentive des résultats générés révèle un défaut commun à ChatGPT : les contenus entre les points sont séparés les uns des autres, voire se chevauchent.

Par exemple, pour les risques liés à l'apprentissage en profondeur, les réponses de ChatGPT incluent le « surajustement » et les « attaques d'échantillons contradictoires », tandis que pour les risques liés à la technologie de traitement du langage naturel, les réponses de ChatGPT incluent « fuite de modèle ». Informations sensibles".

Ces risques sont des menaces courantes auxquelles sont confrontées différentes technologies d'IA. Si un rapport est généré selon les idées ci-dessus, chaque description des risques dans un domaine technologique d'IA spécifique dans ce chapitre comprendra un grand nombre de risques courants des technologies d'IA, ce qui en résulte. dans un rapport La confusion des structures et la superposition des contenus.

Nous avons ajusté le cadre du chapitre 3 pour résoudre les problèmes ci-dessus et exigeons que ChatGPT décrive les points communs et les différences dans les risques de cybersécurité dans les trois principaux domaines technologiques de l'IA.

Après avoir reçu l'instruction, ChatGPT a réussi à distinguer les « risques communs » et les « risques uniques ».

Une fois tous les préparatifs préliminaires en place, vous pouvez passer au lien le plus essentiel et le plus long : la rédaction du contenu principal du rapport.

Il n'est pas difficile de voir que le résultat de sortie à ce stade ressemble davantage à un aperçu, et les étapes suivantes impliquent la sélection et la confirmation des sous-titres, ainsi que l'extension et l'ajustement d'un contenu spécifique.

Le moyen le plus rapide de développer rapidement le contenu est de demander directement à ChatGPT de compléter le contenu généré. Vous pouvez utiliser des mots-clés tels que « développer », « étendre » et « explication spécifique » et limiter la durée de l'expansion.

Ce qui précède représente les étapes de génération de rapport les plus grossières. Le travail ultérieur se concentrera principalement sur la correction des résultats, l'ajustement du contenu et les liens d'optimisation les plus longs et les plus triviaux. Faites d'abord attention à vérifier l'authenticité et l'exactitude des informations, puis. améliorer la structure. Principes de base avec contenu.

Admettez humblement vos erreurs et ne les corrigez jamais malgré les avertissements répétés

La construction de l'infrastructure ci-dessus ne semble pas compliquée Si vous pensez que tout ira bien simplement en saisissant des instructions simples, vous pouvez vous asseoir, vous détendre et laisser l'important. tâche de rédaction de rapport sur ChatGPT. Vous vous trompez totalement.

En fait, dans le processus de génération de contenu spécifique de ChatGPT, d'innombrables problèmes peuvent survenir. L’exemple le plus typique est celui des fraudes directes largement critiquées, telles que « dire sérieusement des bêtises » et « fabriquer des documents ».

Ce problème est particulièrement évident lorsque nous rédigeons des contenus tels que le chapitre 5 « Gouvernance et supervision des risques liés à l'IA » qui s'appuie sur des documents juridiques et politiques stricts. Nous avons rencontré différents types d'erreurs au cours du processus de formation : écriture de noms de documents politiques inexistants, écriture de fausses agences de promulgation de politiques, écriture de mauvaises années de promulgation de politiques, promulgation d'actions gouvernementales inexistantes, etc.

Par exemple, lors du processus de formation de certains contenus politiques américains, ChatGPT a commis une erreur évidente dans la première réponse en 4 points : fabriquer le faux comportement du gouvernement américain en créant un bureau politique en matière d'IA.

Nous avons fait des suggestions pour améliorer les résultats générés, notamment en posant des questions sur l'agence d'établissement de la fausse information "Le gouvernement américain a créé un bureau politique en matière d'IA".

Malheureusement, ChatGPT non seulement n'a pas reconnu l'erreur dans le résultat de la réponse, mais a plutôt commis l'erreur et a continué à fabriquer et à générer du contenu basé sur la question.

Pour un autre exemple, les réponses suivantes peuvent être considérées comme une large collection de contenus erronés générés par l'IA. Seules 4 questions comportaient 3 erreurs majeures. L'erreur la plus ridicule était sans aucun doute la référence directe au « NISTIR 8272 : Outil d'analyse d'impact pour les risques de la chaîne d'approvisionnement des réseaux interdépendants », une analyse complète des risques de la chaîne d'approvisionnement des réseaux. Les documents liés à la sécurité de l'IA ont été remplacés. et le document numéroté NISTIR 8272 a reçu le nom inexistant « NISTIR 8272 : Artificial Intelligence Risk Management Framework ».

La seule bonne réponse parmi les quatre points est d'admettre l'erreur provoquée par le contenu généré dans la question précédente. On peut voir que bien que ChatGPT ait une bonne attitude envers l'admission des erreurs, il adhère au principe de mise en œuvre de ne jamais corriger après des avertissements répétés. L'exactitude des résultats de ChatGPT pour les actions, politiques et systèmes gouvernementaux sérieux, les documents et autres contenus est très faible. . Les utilisateurs doivent examiner et relire attentivement le contenu généré.

L'image ci-dessous est un autre exemple représentatif d'une erreur. L'image de gauche est un résumé des politiques réglementaires de sécurité de l'IA émises par l'Union européenne générées par ChatGPT. à gauche se concentre principalement sur « IA » plutôt que sur « IA ».

Nous avons émis une instruction « modifier l'accent » sur les problèmes ci-dessus, comme indiqué à droite. De toute évidence, la réponse révisée de ChatGPT n’a pas réorganisé les documents du gouvernement européen axés sur la « sécurité de l’IA » comme prévu.

Au contraire, ChatGPT a copié tous les noms de documents et actions gouvernementales impliqués dans la réponse originale, et a directement remplacé le contenu et les objectifs du document, notamment : changer l'objectif de la "Stratégie européenne pour l'intelligence artificielle" de "renforcer l'IA". recherche......" a été remplacé par "renforcer la recherche sur la sécurité de l'IA...", et l'objectif de la création d'ELLIS par l'UE a été remplacé de "promouvoir la recherche sur l'IA" à "promouvoir la recherche sur la sécurité de l'IA", etc.

Cela expose un autre problème fatal de ChatGPT : ChatGPT peut directement falsifier les informations afin de donner l'impression que les résultats générés répondent aux besoins du problème.

Limitations et suggestions

À l'exception des erreurs factuelles ci-dessus, lors du processus d'examen du contenu et de relecture, nous devons nous concentrer sur la vérification s'il y a des chevauchements entre les paragraphes. Prenons l'exemple de l'empoisonnement des données dans la sous-section 4.1. Le concept de base de l'empoisonnement des données est mentionné simultanément dans l'introduction et dans la section 4.1.1.

À la suite des exemples ci-dessus, nous faisons une supposition audacieuse sur les règles de fonctionnement de ChatGPT : c'est-à-dire que les réponses générées par ChatGPT sont assemblées par de petites tâches dispersées. Ces tâches sont relativement indépendantes et manquent de connexion logique.

Si la partie introduction de l'empoisonnement des données est considérée comme une petite tâche de génération, le résultat de sortie de ChatGPT a répondu aux normes de base d'une introduction qualifiée : (expliquant le concept d'empoisonnement des données - introduisant le contenu suivant). De même, si la partie 4.1.1 est considérée comme une petite tâche de génération, il n'y aura pas d'erreurs évidentes dans les résultats de sortie.

Lorsque nous avons clairement signalé le contenu qui se chevauchait avec ChatGPT, ChatGPT a rapidement compris les instructions de modification et a complété à nouveau la réponse, comme indiqué ci-dessous.

Évidemment, ChatGPT a la capacité « d'identifier le contenu qui se chevauche », mais ce qui lui manque, c'est la conscience qu'« il ne devrait pas y avoir beaucoup de contenu qui se chevauche entre les paragraphes ». On peut constater que la capacité d’analyse de corrélation basée sur une grille du cerveau humain est la partie la plus difficile à imiter et à remplacer pour l’IA.

Fait intéressant, lorsque ChatGPT a incorporé le contenu de 4.1.1 dans l'introduction, le reste des chiffres n'a pas été ajusté en conséquence, et lorsque nous avons signalé les problèmes avec ChatGPT, le modèle a effectivement trouvé l'erreur et modifié avec précision le numéro. complété.

Ce type d'erreur de numérotation n'affecte pas notre utilisation réelle de ChatGPT, mais il peut être utilisé comme un bon exemple pour confirmer notre hypothèse sur le mécanisme d'épissage des tâches distribuées de ChatGPT.

Nous avons également essayé de guider le modèle pour améliorer la connectivité des paragraphes, et avons reçu des résultats de commentaires au format « Après XXX, les entreprises doivent prêter attention à XXX ». De toute évidence, ce mode mécanique d’ajout de séquences ne peut pas véritablement refléter le lien substantiel entre les paragraphes.

À ce stade, nous avons formé une attente approximative des limitations et des limites supérieures des capacités de ChatGPT. Pour faire simple, ChatGPT peut résumer rapidement des phénomènes, des faits, des opinions, etc. en grande quantité, et il possède également certaines capacités de jugement logique.

Cependant, étant donné que le jugement logique de ChatGPT repose principalement sur des statistiques linguistiques plutôt que sur des capacités cognitives, il souffre souvent d'erreurs logiques, de confusion structurelle et même d'inversion de cause à effet. Il est également incapable d'explorer véritablement la nature profonde et originale de l'information. . contact.

Le cerveau humain est responsable de la réalisation d'analyses et de résumés de niveau supérieur tels que l'examen de l'exactitude, l'induction de points communs et le résumé des tendances sur les informations de base fournies par ChatGPT.

Après avoir clarifié la répartition des rôles entre les humains et ChatGPT, il n'est pas difficile de trouver un moyen de maximiser l'utilisation de ChatGPT pour optimiser la génération de rapports, optimiser le contenu des rapports, puis responsabiliser le travail : utiliser le cerveau humain pour construire une chaîne de les besoins d'information nécessaires pour atteindre l'objectif, et Mettre de côté l'intuition autant que possible et décrire concrètement les besoins d'information sur la chaîne.

Prenons le rapport 4.1.1 comme exemple. Lorsque nous avons exigé que le rapport fournisse une description détaillée du contenu de l'empoisonnement des données, nous avons défini l'orientation des besoins d'informations en demandant des descriptions concrètes telles que les causes et en demandant à ChatGPT de donner des exemples. .

Résumé

En général, ChatGPT nous a donné une réponse satisfaisante. Bien que le processus de formation ait été confronté à de nombreuses difficultés et incertitudes, la capacité de ChatGPT à comprendre et à exécuter les instructions a été surprenante.

FreeBuf Consulting estime que ChatGPT peut être utilisé comme point de départ pour l'analyse de sujets et la recherche universitaire, fournissant aux humains les informations récapitulatives nécessaires pour atteindre leurs objectifs. Grâce à l'énorme base de données de formation, les chercheurs universitaires peuvent déterminer rapidement le point d'entrée du rapport, ce qui raccourcit considérablement le processus d'enquête documentaire, de collecte et de sélection des données au début du rapport, et fournit des idées de référence pour les travaux de recherche ultérieurs.

Cependant, les limites et la limite supérieure des capacités de ChatGPT sont également très évidentes. Étant donné que le contenu de sortie de ChatGPT est principalement basé sur la distribution statistique de mots contextuels plutôt que sur des faits rigoureux, l'authenticité des résultats générés par ChatGPT n'est souvent pas garantie, et il existe même souvent des erreurs logiques, une confusion structurelle et une inversion des causes et des causes. effet.

De plus, en raison du manque de capacités d'analyse de corrélation non linéaire, ChatGPT ne peut pas véritablement exploiter les liens substantiels entre les paragraphes, ce qui laisse un fossé insurmontable entre lui et le cerveau humain. Les comportements d'analyse d'ordre supérieur tels que l'examen de l'exactitude, l'induction de points communs et le résumé des tendances nécessitent toujours la puissance humaine pour être exécutés.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!