Goose Factory a créé une société de traduction IA : spécialisée dans les romans en ligne, adaptant automatiquement les styles de langue, et les personnes réelles et GPT-4 peuvent bien le lire.

Goose Factory a créé une "société de traduction" avec plus de 150 personnes, du patron aux employéssont tous des agents IA !

L'activité principale est la traduction de romans en ligne. La qualité est extrêmement élevée. Les lecteurs qui ont participé à l'évaluation estiment que est encore meilleure que la traduction en personne.

Et par rapport à l'embauche de vraies personnes pour traduire des œuvres littéraires, le coût est réduit de près de 80 fois.

Entreprise ATransAgents, chaque poste est doté de 30 collaborateurs différents, capables d'adapter différents styles de traduction selon la langue, le genre et le public cible.

Par rapport à la traduction traditionnelle, la traduction produite est plus flexible et diversifiée, plus conforme aux habitudes d'expression de la langue cible et plus littéraire.

Ainsi, bien que TransAgents ait « échoué » dans l'évaluation automatique basée sur la similarité, il a gagné une forte reconnaissance de la part des lecteurs et des professionnels.

De telles performances font même déplorer que l’ère arrive peut-être où les humains seront davantage intéressés par le contenu généré par l’intelligence artificielle.

Certaines personnes disent encore que TransAgents est une autre preuve qu'ils ont mal compris l'intelligence artificielle - ils pensaient qu'en raison des limitations du modèle, la traduction de romans serait extrêmement difficile pour l'IA, mais en conséquence, l'agent IA a terminé cette tâche très bien.

Alors, les TransAgents sont-ils si géniaux ?

Les vraies personnes et GPT-4 disent oui

Afin d'évaluer la qualité de la traduction de TransAgents, l'auteur a sélectionné l'ensemble de données WMT2023, qui nécessite une traduction littéraire au niveau du chapitre.

Cet ensemble de données intercepte 20 chapitres consécutifs de 12 romans en ligne, couvrant les huit catégories suivantes :

• Jeux (Jeux vidéo, VG)
• Eastern Fantasy (EF)
• Romance de science-fiction (SR)
• Romance contemporaine (CR)
• Fantastique (F)
• Science Fiction (SF)
• Horreur & Thriller , HT)
• Fantastique Romance (FR)

Initialement, l'auteur a utilisé d-BLEU pour l'évaluation automatique. Cette méthode calculer la similarité avec l'échantillon de référence. Plus la similarité est élevée, plus le score est élevé.

Spécifiquement pour ce projet, il existe deux ensembles d'échantillons de référence. L'échantillon un est le résultat de la traduction donné manuellement, et l'échantillon deux est obtenu en alignant des textes bilingues sur Internet.

En conséquence, le score de TransAgents n’était pas idéal, seulement 25 points, soit moins de la moitié de SOTA.

Mais cela ne signifie pas que la qualité de la traduction de TransAgents n'est pas bonne, mais parce que l'utilisation de la similarité pour mesurer les performances de traduction d'œuvres littéraires est intrinsèquement biaisée.

La traduction littéraire n'est pas une comparaison mot à mot, mais nécessite des transformations créatives dans la sémantique, le ton, le style, etc. Ces transformations peuvent conduire à de grandes différences superficielles entre la traduction et la traduction de référence en cas de similitude. n'est pas élevé, ce sera naturellement Pas de surprise.

Donc, l'auteur a simplement demandé à de vraies personnes (au moins 10 personnes) d'évaluer la qualité de la traduction. D'ailleurs, il a également demandé à GPT-4(0125-Preview) de jeter un œil dans TransAgents, GPT. -4(1106-Aperçu) Qui a la meilleure traduction parmi les vraies personnes ?

Les évaluateurs verront différentes traductions du même texte original. La personne réelle ne voit que la traduction, tandis que GPT-4 voit à la fois le texte original et la traduction.

En conséquence, plus de la moitié des évaluateurs réels pensaient que TransAgents traduisait mieux que les humains, 8,4 % pensaient que la qualité des deux était équivalente et GPT-4 pensait également que TransAgents était de meilleure qualité que le sien. (et humaines) traductions.

En plus de ces critiques publiques, deux traducteurs professionnels ont également estimé que même si la traduction manuelle est plus fidèle au texte original, la traduction donnée par TransAgents est évidemment plus littéraire, plus concise et se reflète dans le libellé et les phrases. talent linguistique et expression littéraire profonde.

Les indicateurs de test MATTR et MTLD le prouvent également, en particulier sur MTLD, la diversité linguistique des TransAgents est environ un tiers supérieure à celle des personnes réelles et de GPT-4.

Dans le cas montré par l'auteur, TransAgents ajustera le contenu de la traduction en fonction des habitudes de la langue cible. Bien que les traductions de personnes réelles (Ref1) et GPT-4 soient correctes, elles ne sont pas aussi cohérentes. la langue en tant que TransAgents.

De plus, TransAgents surpasse également la simple utilisation de GPT-4 en termes de cohérence, en conservant la même traduction pour le même texte original.

Bien sûr, cela ne veut pas dire qu'il est bon dans tous les genres, parmi les 8 genres mentionnés ci-dessus, TransAgents a des performances exceptionnelles dans des genres tels que les jeux et la romance de science-fiction, alors qu'il est relativement médiocre dans des genres tels que. horreur et thriller.

△La ligne pointillée sur l'image représente le taux de victoire de 50 %

Dans le même temps, l'auteur a également constaté que TransAgents ne "prend pas tout comme ordonné" lors de la traduction, mais il y aura un certain degré de omissions.

Cependant, à en juger par les notes données par les lecteurs qui n'ont pas lu le texte original lors du test, de telles omissions ne semblent pas affecter leur expérience de lecture.

Alors, comment fonctionne cette « entreprise de traduction » ?

Division du travail et collaboration multi-agents

Dans cette entreprise, différents agents jouent les rôles de PDG, rédacteur junior/senior, véritable traducteur, expert en localisation et relecteur(Relecteur)Sauf le PDG Chaque poste compte 30 personnes , dont chacun est spécialisé dans des domaines différents, et il y a aussi un Agent Fantôme.

Ces agents sont pilotés par GPT-4-Turbo. Chaque rôle comprend des paramètres multidimensionnels tels que le nom, l'âge, le poste, les années d'expérience et les langues maîtrisées.

Après avoir reçu la demande de traduction du « client », le PDG analysera de manière approfondie le texte original ainsi que la langue cible, le genre, le public cible et d'autres informations, et sélectionnera celle qui correspond le mieux au domaine d'expertise parmi plusieurs rédacteurs principaux.

À ce moment-là, Ghost Agent évaluera le choix du PDG et l'informera si le candidat convient, réduisant ainsi le phénomène de sélection inappropriée.

Le rédacteur en chef sélectionné travaillera avec le PDG, en combinant là encore les besoins en matière de tâches et les caractéristiques personnelles, pour sélectionner davantage les membres de l'équipe tels que les rédacteurs juniors, les traducteurs, les experts en localisation et les relecteurs parmi le vivier de talents de l'entreprise.

Une fois l'équipe formée, le rédacteur junior identifiera d'abord tous les termes clés potentiels chapitre par chapitre, générera un glossaire initial, le révisera avec le rédacteur en chef, supprimera les termes courants, générera un glossaire révisé et répétera à plusieurs reprises. jusqu'à ce qu'aucune autre modification ne soit requise.

Ensuite, les rédacteurs senior traduiront les termes clés du glossaire dans la langue cible en fonction de la signification des termes dans différents contextes.

Après avoir obtenu le glossaire, l'éditeur junior générera un résumé de chapitre détaillé pour chaque chapitre, en conservant autant que possible les informations et les détails clés, puis laissera l'éditeur senior le réviser et supprimera les informations redondantes ou inutiles, laissant le résumé du chapitre. Plus de manière concise.

Ensuite, le rédacteur en chef rédige un résumé de l'intégralité du livre basé sur le résumé du chapitre révisé, résumant l'intrigue principale, les personnages et les thèmes, et sélectionne au hasard un chapitre du livre, analyse son ton, son style et son public cible, et élabore un guide de style de traduction.

Le guide de style de traduction sera envoyé à tous les membres de l'équipe du projet pour assurer la cohérence du style de traduction.

Selon le guide de style, les vrais traducteurs de l'entreprise effectueront des traductions préliminaires chapitre par chapitre et soumettront la première ébauche à l'éditeur junior pour examen afin de vérifier si le guide de style de traduction est suivi et fournir des suggestions d'amélioration.

Sur cette base, le rédacteur en chef évaluera la qualité de la traduction révisée et décidera si des modifications supplémentaires sont nécessaires. Le traducteur, le rédacteur junior et le rédacteur en chef répéteront jusqu'à ce que la qualité de la traduction réponde aux exigences.

Mais le texte traduit obtenu à ce stade n'est pas la version finale et doit être remis à des experts en localisation pour ajustements. Les experts identifieront le contenu qui peut nécessiter une adaptation culturelle, comme les expressions idiomatiques, les métaphores, etc., et ajusteront ce contenu pour le rendre plus pertinent par rapport à la langue et à la culture cibles tout en conservant l'intention du texte original.

Le texte ajusté sera à nouveau revu par le rédacteur junior et le rédacteur principal pour garantir que la traduction trouve un équilibre entre adaptabilité culturelle et fidélité.

Après cela, les correcteurs vérifieront à nouveau les erreurs de grammaire, d'orthographe, de ponctuation et de formatage. S'il y a des modifications, elles seront examinées plus en détail par l'éditeur.

Une fois ces processus terminés, le rédacteur en chef procédera à une révision finale, en se concentrant sur la cohérence entre les chapitres adjacents pour garantir que l'intrigue, les personnages, les thèmes et autres éléments sont cohérents tout au long du livre. Si des problèmes sont détectés, ils le feront. être renvoyé à Les membres précédents de l'équipe ont apporté des révisions jusqu'à ce que la traduction finale soit produite.

Si le client a des suggestions de modifications à apporter à la traduction, le rédacteur en chef prendra à nouveau les devants et organisera le personnel concerné pour apporter des modifications jusqu'à ce que la version finale soit finalisée.

Non seulement le processus de travail est extrêmement strict et standardisé, mais une fois que le client est satisfait de la traduction, le rédacteur en chef organisera également une « réunion » pour l'équipe du projet afin de résumer le projet et de partager ses expériences et les leçons apprises.

La terminologie précieuse, les compétences en traduction, les stratégies d'adaptation culturelle et les autres connaissances accumulées au cours du processus seront résumées et téléchargées dans la base de connaissances de l'entreprise pour référence dans les projets ultérieurs.

One More Thing

TransAgents n'est pas la première « entreprise » composée d'agents. L'année dernière, ChatDev, une « société de jeux » de l'Université Tsinghua, est devenue populaire sur Internet. La technologie de base utilisée derrière elle est multi-agents.

Si vous élargissez vos horizons, vous regarderez non seulement la « société », mais aussi la ville IA de Stanford et le jeu de loup-garou IA de Tsinghua, qui utilisent tous plusieurs agents pour simuler une véritable société humaine.

En bref, avec l'approfondissement de la recherche sur de grands modèles, les expériences d'intelligence d'agent et d'essaim sont devenues l'une des directions les plus populaires dans la recherche sur l'IA, et à en juger par ces TransAgents, la collaboration multi-agents a commencé à montrer des avantages pratiques.

(D'ailleurs, certains internautes ont découvert que de Stanford Town à ChatDev en passant par cette fois TransAgents, l'auteur de la recherche multi-agents aime beaucoup le style de peinture de style "Stardew Valley".)

Bien sûr , certaines personnes ont exprimé leurs inquiétudes à ce sujet, estimant que la traduction basée sur l'IA conduirait à l'homogénéisation de la langue et à la disparition d'expressions uniques dans différentes langues.

De plus, j'ai sauté de TransAgents lui-même et j'ai pensé à la peur d'Ilya d'une coopération d'agents à grande échelle...

Alors, selon vous, quels nouveaux résultats peuvent être créés sur la voie de l'intelligence en essaim ? N'hésitez pas à partager vos réflexions dans la zone de commentaires.

Adresse papier : https://arxiv.org/abs/2405.11804

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!