Goose Factory は、オンライン小説に特化し、言語スタイルを自動的に適応させ、現実の人間と GPT-4 の両方が上手に読むことができる AI 翻訳会社を構築しました。

Goose Factoryは、150名以上の従業員からなる「翻訳会社」を設立しました、上司から従業員まで全員がAIエージェント

です! 主な仕事はオンライン小説の翻訳であり、評価に参加した読者は、が実際の人の翻訳よりもさらに優れていると信じています。

そして、文学作品の翻訳に実際の人間を雇うのと比べて、コストはほぼ 80 倍削減されます。

ATransAgents 社では、各ポジションに 30 人の異なる従業員が配置されており、言語、ジャンル、対象読者に応じてさまざまな翻訳スタイルに適応できます。

従来の翻訳と比較して、生成される翻訳はより柔軟かつ多様で、ターゲット言語の表現習慣に沿っており、より文学的です。

つまり、TransAgents は類似性に基づく自動評価には「失敗」しましたが、読者や専門家からは高い評価を得ています。

このようなパフォーマンスは、人間が人工知能によって生成されたコンテンツにもっと興味を持つ時代が来るかもしれないと人々を嘆くほどです。

TransAgentsは人工知能を誤解しているもう一つの証拠であると今でも言う人がいます。彼らはモデルの制限により、AIにとって小説の翻訳は非常に難しいと考えていましたが、その結果、AIエージェントは完成しましたこのタスクは非常にうまくいきます。

それで、TransAgentsはそんなにすごいのでしょうか？

実際の人々も GPT-4 もイエスと答えています

TransAgents の翻訳品質を評価するために、著者は章レベルの文学翻訳を必要とする WMT2023 データセットを選択しました。

このデータ セットは、12 のオンライン小説から連続 20 章をインターセプトし、次の 8 つのカテゴリをカバーしています:

• ゲーム (ビデオ ゲーム、VG)
• 東方ファンタジー (EF)
• SF ロマンス (SR)
• 現代ロマンス(CR)
• ファンタジー (F)
• サイエンスフィクション (SF)
• ホラー&スリラー、HT)
• ファンタジーロマンス (FR)

当初、作者は自動評価にd-BLEUを使用していました。 基準サンプルとの類似度を計算します。類似度が高いほどスコアが高くなります。

特に、このプロジェクトには 2 つの参考サンプルがあり、サンプル 1 は手動で与えられた翻訳結果であり、サンプル 2 はインターネット上の対訳テキストを並べて得られたものです。

その結果、TransAgents のスコアは理想的なものではなく、SOTA の半分にも満たない 25 ポイントしかありませんでした。

しかし、これは TransAgents の翻訳品質が良くないという意味ではなく、文学作品の翻訳のパフォーマンスを測定するために類似性を使用することには本質的に偏りがあるためです。

文学翻訳は一語一語比較するものではなく、意味論、語調、スタイルなどにおいて創造的な変換を必要とします。これらの変換により、

翻訳と参考翻訳の間に大きな表面的な違いが生じる可能性があります。高いものではありません、当然のことです。

そこで、著者は実際の人々 (少なくとも 10 人) に翻訳の品質を評価してもらいました。 ちなみに、TransAgents の GPT

(0125-Preview) にも見てもらいました。 -4(1106-プレビュー) 実在の人物の中で最も優れた翻訳を持っているのは誰ですか?

評価者は同じ原文の異なる翻訳を見ることになりますが、実際の人間は翻訳のみを表示しますが、GPT-4 は原文と翻訳の両方を表示します。

その結果、実際のレビュー担当者の半数以上が、TransAgents の翻訳が人間よりも優れていると信じており、8.4% が 2 つの品質は同等であると信じており、GPT-4 も TransAgents の方が人間よりも高品質であると信じています。 （そして人間による）翻訳。

これらの公開レビューに加えて、2人のプロの翻訳者も、手作業による翻訳は原文により忠実であるが、TransAgentsによる翻訳は明らかにより文学的で、より簡潔で、言葉遣いや文章に反映されていると考えています。才能と深い文学表現。

MATTR および MTLD テスト指標もこれを証明しており、特に MTLD では、トランスエージェントの言語多様性は実際の人々や GPT-4 の言語多様性よりも約 3 分の 1 高いことがわかります。

著者が示したケースでは、TransAgents はターゲット言語の習慣に従って翻訳内容を調整します。実際の人々 (Ref1) と GPT-4 の翻訳は正確ですが、それらはそれほど一貫性がありません。トランスエージェントとしての言語。

さらに、TransAgents は一貫性の点で単に GPT-4 を使用することを上回り、同じ原文に対して同じ翻訳を維持します。

もちろん、これは、上記の 8 つのジャンルの中で、TransAgents がゲームや SF ロマンスなどのジャンルで優れたパフォーマンスを示している一方で、ホラーとスリラー。

△写真の点線は50%の勝率を表しています

同時に、著者は、TransAgentsが翻訳時に「すべてを注文どおりに受け取る」わけではなく、ある程度の省略。

しかし、テストで原文を読んでいない読者が与えた評価から判断すると、そのような省略は読書体験に影響を与えないようです。

それでは、この「翻訳会社」はどのように機能するのでしょうか?

マルチエージェントの分業とコラボレーション

この会社では、さまざまなエージェントがCEO、ジュニア/シニア編集者、真の翻訳者、ローカリゼーションエキスパート、校正者(校正者)の役割を果たしますCEOを除く 各ポジションに30人います、それぞれが異なる分野を専門とし、ゴーストエージェントもいます。

これらのエージェントは、GPT-4-Turbo によって駆動されます。各役割には、名前、年齢、役職、経験年数、習得言語などの多次元設定が含まれます。

「クライアント」からの翻訳依頼を受けて、代表取締役が原文と対象言語、ジャンル、対象者等を総合的に分析し、複数の翻訳言語の中から最も専門分野に合った翻訳言語を選択します。先輩編集者たち。

この時点で、Ghost Agent は CEO の選択を評価し、候補者が適切かどうかを通知することで、不適切な選択の現象を軽減します。

選ばれた上級編集者は CEO と協力し、タスクのニーズと個人的な特性を再度組み合わせて、会社の人材プールからジュニア編集者、翻訳者、ローカリゼーション専門家、校正者などのチーム メンバーをさらに選択します。

チームが結成された後、下級編集者はまず章ごとに潜在的な重要な用語をすべて特定し、最初の用語集を生成し、上級編集者と一緒にレビューし、共通の用語を削除し、改訂された用語集を生成し、繰り返し行います。それ以上の変更は必要ありません。

その後、上級編集者が、さまざまな文脈における用語の意味に基づいて、用語集内の重要な用語をターゲット言語に翻訳します。

用語集を作成した後、下級編集者は主要な情報と詳細を可能な限り保持しながら、各章の詳細な章の概要を生成し、上級編集者にレビューさせ、冗長または不要な情報を削除して、章の概要を残します。簡潔に。

その後、上級編集者は、改訂された章の概要に基づいて、主なプロット、登場人物、テーマを要約した本全体の概要を書き、本からランダムに章を選択し、そのトーン、スタイル、対象読者を分析し、翻訳スタイルガイドを開発します。

翻訳スタイルの一貫性を確保するために、翻訳スタイル ガイドがプロジェクト チームのすべてのメンバーに送信されます。

スタイルガイドに従って、当社の実際の翻訳者が章ごとに予備翻訳を実行し、初稿をレビューのためにジュニア編集者に提出して、翻訳スタイルガイドに従っているかどうかを確認し、改善のための提案を提供します。

これに基づいて、上級編集者は改訂された翻訳の品質を評価し、翻訳者、下級編集者、上級編集者が翻訳の品質が要件を満たすまで修正を繰り返す必要があります。

ただし、この時点で得られた翻訳テキストは最終草案ではなく、調整のためにローカリゼーションの専門家に引き渡す必要があります。専門家は、慣用句や比喩など、文化的適応が必要な可能性のあるコンテンツを特定し、元のテキストの意図を維持しながら、対象の言語や文化により適合するようにこれらのコンテンツを調整します。

調整されたテキストは、翻訳が文化的適応性と忠実性のバランスをとっているかどうかを確認するために、ジュニア編集者とシニア編集者によって再度レビューされます。

この後、校正者が文法、スペル、句読点、書式設定の誤りを再度チェックし、修正がある場合は編集者によってさらにレビューされます。

これらのプロセスが完了した後、上級編集者は、プロット、登場人物、テーマ、その他の要素が本全体で一貫していることを確認するために、隣接する章間の一貫性に焦点を当てて最終レビューを実施します。最終的な翻訳が作成されるまで、以前のチーム メンバーが修正を行ったものに返送されます。

クライアントから翻訳の修正に関する提案があった場合は、上級編集者が再び主導権を握り、最終版が完成するまで修正を行うために関係者を組織します。

作業プロセスが非常に厳格かつ標準化されているだけでなく、クライアントが翻訳に満足した後、上級編集者はプロジェクトチームの「会議」を開催し、プロジェクトを要約し、経験や学んだ教訓を共有します。

プロセス中に蓄積された貴重な用語、翻訳スキル、文化適応戦略、その他の知識は要約され、後続のプロジェクトで参照できるように会社の知識ベースにアップロードされます。

もう一つ

TransAgents は、エージェントで構成された最初の「会社」ではありません。昨年、清華大学の「ゲーム会社」である ChatDev が、その背後で使用されているコアテクノロジーです。

視野を広げれば、「会社」だけでなく、スタンフォードのAIタウンや清華のAI人狼ゲームなども見えてきますが、いずれもマルチエージェントを使って現実の人間社会をシミュレートしています。

つまり、大規模モデル研究の深化に伴い、エージェントと群知能の実験は AI 研究で最も人気のある方向性の 1 つになり、この TransAgents から判断すると、マルチエージェントのコラボレーションは実用的な利点を示し始めています。

(ところで、スタンフォード タウンから ChatDev、そして今回の TransAgents に至るまで、マルチエージェント研究の著者は「スターデュー バレー」風の絵画スタイルをとても気に入っていることを一部のネチズンが発見しました。)

もちろんです。 , これについては、AI主導の翻訳によって言語の均質化が進み、さまざまな言語の独特な表現が失われるのではないかと懸念する声も上がっています。

さらに、私はトランスエージェント自体から飛び出し、エージェントの大規模な協力に対するイリヤの恐怖について考えました...

それでは、集団インテリジェンスの道でどのような新しい結果が生み出される可能性があると思いますか? ?コメント欄でお気軽にご意見を共有してください。

紙のアドレス: https://arxiv.org/abs/2405.11804

以上がGoose Factory は、オンライン小説に特化し、言語スタイルを自動的に適応させ、現実の人間と GPT-4 の両方が上手に読むことができる AI 翻訳会社を構築しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。