Goose Factory는 AI 번역 회사를 설립했습니다. 온라인 소설을 전문으로 하고 언어 스타일을 자동으로 조정하며 실제 사람과 GPT-4 모두 잘 읽을 수 있습니다.

구스팩토리는 사장부터 직원까지모두 AI 에이전트로 150명이 넘는 "번역 회사"를 설립했습니다!

본업은 온라인 소설 번역인데, 평가에 참여한 독자들은 실제 번역보다 더 낫다고 생각합니다.

그리고 문학 작품 번역을 위해 실제 사람을 고용하는 것과 비교하면 비용이 거의 80배나 절감됩니다.

ATransAgents 회사에서는 각 직위에 30명의 직원이 있으며 이들은 언어, 장르 및 대상 고객에 따라 다양한 번역 스타일을 적용할 수 있습니다.

기존 번역에 비해 제작된 번역은 더 유연하고 다양하며, 더 대상 언어의 표현 습관에 맞춰, 더 문학적입니다.

그래서 TransAgents는 유사성 기반 자동 평가에서 '실패'했지만 독자와 전문가로부터 큰 인정을 받았습니다.

이런 성과는 어쩌면 인공지능이 만들어내는 콘텐츠에 인간이 더 관심을 갖는 시대가 오는 게 아닐까 하는 안타까움까지 불러일으킵니다.

아직도 TransAgents가 인공지능을 오해한 또 다른 증거라고 말하는 사람들이 있습니다. 모델의 한계로 인해 소설 번역이 AI에게는 극도로 어려울 것이라고 생각했지만 결과적으로 AI 에이전트가 완성했습니다. 이 작업은 아주 잘 .

그렇다면 TransAgents가 그렇게 대단한가요?

실제 인물과 GPT-4 모두 그렇다고 대답합니다

TransAgents의 번역 품질을 평가하기 위해 저자는 장 수준의 문학 번역이 필요한 WMT2023 데이터 세트를 선택했습니다.

이 데이터 세트는 다음 8개 범주를 포함하는 12개 온라인 소설의 20개 연속 챕터를 차단합니다.

• 게임(비디오 게임, VG)
• Eastern Fantasy(EF)
• 공상과학 로맨스(SR)
• 현대 로맨스 (CR)
• Fantasy (F)
• Science Fiction (SF)
• Horror & Thriller , HT)
• Fantasy Romance (FR)

처음에는 저자가 자동 ​​평가를 위해 d-BLEU를 사용했습니다. 참조 샘플과의 유사성을 계산 유사성이 높을수록 점수가 높아집니다.

이 프로젝트에는 구체적으로 두 세트의 참고 샘플이 있습니다. 샘플 1은 수동으로 제공되는 번역 결과이고, 샘플 2는 인터넷에서 이중 언어 텍스트를 정렬하여 얻은 것입니다.

그 결과 TransAgents의 점수는 SOTA의 절반에도 못 미치는 25점으로 이상적이지 않았습니다.

그러나 이는 TransAgents의 번역 품질이 좋지 않다는 의미가 아니라 문학 작품의 번역 성과를 측정하기 위해 유사성을 사용하는 것은 본질적으로 편향되어 있기 때문입니다.

문학 번역은 단어 대 단어 비교가 아니라 의미, 어조, 문체 등의 창의적인 변형이 필요합니다. 이러한 변형은

번역과 참고 번역 사이에 큰 표면적 차이로 이어질 수 있습니다. 높지 않으면 자연스럽게 놀랄 일이 아닙니다.

그래서 저자는 단순히 실제 사람들(최소 10명)에게 번역 품질을 평가해 달라고 요청했습니다. 그런데 GPT-4

(0125-Preview)에서도 살펴보라고 했습니다. -4(1106-Preview) 실제 사람들 중 번역을 가장 잘하는 사람은 누구일까요?

평가자는 동일한 원본 텍스트의 다른 번역을 볼 수 있지만 실제 사람은 번역만 볼 수 있지만 GPT-4는 원본 텍스트와 번역을 모두 볼 수 있습니다.

그 결과, 실제 리뷰어 중 절반 이상이 TransAgents가 인간보다 더 잘 번역했다고 믿었고, 8.4%는 둘의 품질이 동등하다고 믿었으며, GPT-4도 TransAgents가 자체보다 품질이 더 높다고 믿었습니다. (그리고 인간의) 번역.

이러한 공개 리뷰 외에도 두 명의 전문 번역가도 수동 번역이 원문에 더 충실하지만 TransAgents가 제공하는 번역이 분명히 더 문학적이고 더 간결하고 단어와 문장에 반영된다고 믿습니다. 재능과 심오한 문학적 표현.

MATTR 및 MTLD 테스트 지표도 이를 증명합니다. 특히 MTLD에서 TransAgent의 언어 다양성은 실제 사람 및 GPT-4보다 약 1/3 더 높습니다.

저자가 표시한 경우 TransAgents는 대상 언어의 습관에 따라 번역 내용을 조정합니다. 실제 인물(Ref1)과 GPT-4의 번역은 정확하지만 일관성이 없습니다. TransAgents로서의 언어.

또한 TransAgents는 동일한 원본 텍스트에 대해 동일한 번역을 유지하여 일관성 측면에서 단순히 GPT-4를 사용하는 것보다 뛰어납니다.

물론, 위에서 언급한 8가지 장르 중 TransAgents가 게임, 공상과학 로맨스 등의 장르에서 뛰어난 성능을 보이는 반면, 공포와 스릴러.

Δ사진의 점선은 50% 승률을 나타냅니다

동시에 저자는 TransAgents가 번역할 때 "모든 것을 주문한 대로 받아들이는" 것은 아니지만 어느 정도의 승률이 있을 것이라는 점도 발견했습니다. 누락.

그러나 테스트에서 원문을 읽지 않은 독자들의 평가로 볼 때 이러한 누락은 독서 경험에 영향을 미치지 않는 것 같습니다.

그럼 이 "번역 회사"는 어떻게 운영되나요?

다중 에이전트 분업 및 협업

이 회사에서는 다양한 에이전트가 CEO, 주니어/선임 편집자, 진정한 번역가, 현지화 전문가 및 교정자 역할을 수행합니다.(교정자)CEO를 제외하고 각 직위는 30명입니다. , 각각 다른 분야를 전문으로하며 유령 요원도 있습니다.

이 에이전트는 GPT-4-Turbo에 의해 구동됩니다. 각 역할에는 이름, 나이, 직위, 경력 연수, 마스터한 언어 등의 다차원 설정이 포함됩니다.

CEO는 "클라이언트"의 번역 요청을 받은 후 원문과 대상 언어, 장르, 대상 청중 및 기타 정보를 종합적으로 분석하고 여러 가지 중에서 전문 분야에 가장 적합한 것을 선택합니다. 수석 편집자.

이때 고스트 에이전트는 CEO의 선택을 평가하고 후보자가 적합한지 여부를 알려줌으로써 부적절한 선택 현상을 줄입니다.

선정된 수석 편집자는 CEO와 협력하여 다시 업무 요구 사항과 개인 특성을 결합하여 회사 인재 풀에서 주니어 편집자, 번역가, 현지화 전문가, 교정자 등의 팀원을 추가로 선발합니다.

팀이 구성된 후 주니어 편집자는 먼저 장별로 잠재적인 핵심 용어를 모두 식별하고 초기 용어집을 생성한 후 수석 편집자와 함께 검토하고 공통 용어를 삭제하고 개정된 용어집을 생성하고 반복적으로 반복합니다. 더 이상의 수정이 필요하지 않을 때까지.

이후 수석 편집자들은 다양한 문맥에서의 용어의 의미를 바탕으로 용어집의 주요 용어를 대상 언어로 번역합니다.

용어집이 완성된 후 하급 편집자는 주요 정보와 세부 사항을 최대한 유지하면서 각 장에 대한 자세한 장 요약을 생성한 다음 수석 편집자가 이를 검토하고 중복되거나 불필요한 정보를 제거하고 장 요약을 남깁니다. 간결하게.

이후 수석 편집자는 수정된 장 요약을 바탕으로 책 전체의 요약을 작성하고, 주요 줄거리, 인물, 주제를 요약하고, 책에서 무작위로 한 장을 선택하여 그 어조, 스타일, 대상 독자를 분석하고, 번역 스타일 가이드를 개발합니다.

번역 스타일의 일관성을 보장하기 위해 번역 스타일 가이드는 프로젝트 팀의 모든 구성원에게 전송됩니다.

스타일 가이드에 따라 회사의 실제 번역가들이 장별로 예비 번역을 수행하고, 초안을 후배 편집자에게 제출하여 번역 스타일 가이드를 준수하는지 확인하고 개선 사항을 제안합니다.

이를 바탕으로 수석 편집자는 수정된 번역의 품질을 평가하고 추가 수정이 필요한지 여부를 결정합니다. 번역가, 주니어 편집자 및 수석 편집자는 번역 품질이 요구 사항을 충족할 때까지 반복합니다.

하지만 이번에 얻은 번역문은 최종 초안이 아니며 현지화 전문가에게 넘겨 조정을 받아야 합니다. 전문가들은 관용어, 은유 등 문화적 적응이 필요할 수 있는 콘텐츠를 식별하고, 원본 텍스트의 의도를 유지하면서 대상 언어 및 문화에 더 관련성이 있도록 이러한 콘텐츠를 조정합니다.

조정된 텍스트는 하위 편집자와 수석 편집자가 다시 검토하여 번역이 문화적 적응성과 충실도 사이의 균형을 이루는지 확인합니다.

이후 교정자는 문법, 철자, 구두점 및 서식 오류를 다시 확인하고 수정 사항이 있는 경우 편집자의 추가 검토를 받게 됩니다.

이러한 과정이 완료된 후 수석 편집자는 줄거리, 등장인물, 주제 및 기타 요소가 책 전반에 걸쳐 일관성이 있는지 확인하기 위해 인접 장 간의 일관성에 중점을 두고 최종 검토를 수행합니다. 최종 번역이 나올 때까지 수정한 이전 팀 구성원에게 다시 보내집니다.

고객께서 번역 수정에 대한 제안이 있으신 경우, 다시 수석 편집자가 주도하여 최종 버전이 확정될 때까지 관련 인력을 구성하여 수정 작업을 진행합니다.

작업 프로세스가 매우 엄격하고 표준화되어 있을 뿐만 아니라 고객이 번역에 만족한 후 수석 편집자는 프로젝트 팀을 위한 "회의"를 조직하여 프로젝트를 요약하고 경험과 교훈을 공유합니다.

이 과정에서 축적된 귀중한 용어, 번역 기술, 문화 적응 전략 및 기타 지식은 후속 프로젝트에서 참고할 수 있도록 요약되어 회사의 지식 베이스에 업로드됩니다.

One More Thing

TransAgents는 에이전트로 구성된 최초의 "회사"가 아닙니다. 작년에 Tsinghua University의 "게임 회사"인 ChatDev가 인터넷에서 인기를 얻었습니다.

시야를 넓히면 "회사"뿐만 아니라 스탠포드의 AI 타운과 칭화의 AI 늑대인간 게임도 볼 수 있는데, 모두 멀티 에이전트를 사용해 실제 인간 사회를 시뮬레이션하고 있습니다.

간단히 말하면, 대형 모델 연구가 심화되면서 에이전트 및 군집 지능 실험은 AI 연구에서 가장 인기 있는 방향 중 하나가 되었으며, 이번 TransAgents를 보면 멀티 에이전트 협업이 실질적인 이점을 보여주기 시작했습니다.

(그런데 일부 네티즌들은 스탠포드 타운부터 ChatDev까지, 이번에 TransAgents에 이르기까지 다중 에이전트 연구의 저자가 "스타듀 밸리" 스타일의 그림 스타일을 정말 좋아한다는 것을 발견했습니다.)

물론이죠. , 일각에서는 AI 주도 번역이 언어의 균질화와 다양한 언어의 고유한 표현의 소멸로 이어질 것이라고 믿으며 이에 대해 우려를 표명하기도 했다.

게다가 트랜스에이전트 자체에서 뛰어내려 대규모 에이전트 협력에 대한 일리야의 두려움을 생각하게 되었는데...

그러면 군집지능의 길에서는 어떤 참신한 결과가 나올 수 있다고 생각하시나요? ? 댓글 영역에서 여러분의 생각을 자유롭게 공유해 주세요.

논문 주소: https://arxiv.org/abs/2405.11804

위 내용은 Goose Factory는 AI 번역 회사를 설립했습니다. 온라인 소설을 전문으로 하고 언어 스타일을 자동으로 조정하며 실제 사람과 GPT-4 모두 잘 읽을 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!