Tian Yuandong 팀은 'Long Story Generator' DOC의 두 번째 버전을 출시했습니다. 일관성이 크게 향상되었으며 재미가 20.7% 증가했습니다!

얼마 전 Tian Yuandong 박사팀은 EMNLP2022에서 대규모 언어 모델을 기반으로 한 스토리 생성기 Re3(Recursive Reprompting and Revision) 프레임워크를 출시했습니다. 최대 7,500 단어의 스토리를 생성할 수 있습니다.

최근 Re3의 저작팀은 계층적 개요를 사용하여 스토리를 더 자세히 설명하고 미세 조정된 OPT를 사용하는 긴 스토리 생성 프레임워크DOC(Detailed Outline Control)의 두 번째 버전을 출시했습니다. - 350m 모델은 생성된 콘텐츠를 보다 일관되게 연속적으로 수행합니다. 이에 비해 인간 평가에서는 DOC가 이전 세대 Re3보다 쓰기 능력이 더 뛰어난 것으로 평가했습니다.

페이퍼 링크: https://arxiv.org/abs/2212.10077

페이퍼 링크: https://github.com/yangkevin2/doc-story- Generation

DOC는 두 가지 보완 구성 요소로 구성됩니다.

1. 상세한 아웃라이너창의적인 작업을 주요 초안 프로세스와 구분하는 보다 상세하고 계층적으로 구조화된 개요를 만듭니다.

2. 컨트롤러는 개요 세부 사항과 일치하도록 스토리 단락을 제어하여 더 자세한 개요가 생성 프로세스에서 여전히 역할을 할 수 있도록 보장합니다.

자동으로 생성된 스토리에 대한 인간 평가에서 DOC는 플롯 일관성에서 22.5%의 절대 이득, 개요 관련성에서 28.2% 증가, 관심도에서 20.7% 증가를 달성했는데, 이는 이전 Re3 기준보다 훨씬 더 나은 수치입니다. 인간 평가자들은 대화형 제작 환경에서 DOC를 제어하기가 더 쉽다고 믿습니다.

이 기사의 첫 번째 저자인 Kevin Yang은 University of California, Berkeley의 4학년 박사과정 학생입니다. 그의 주요 연구 관심 분야는 구조화된 제어 방법을 사용하는 등 구조화된 환경에서 제어 가능한 자연어 텍스트 생성입니다. 긴 형식의 텍스트를 개선하기 위한 생성입니다.

두 번째 저자인 Dr. Tian Yuandong은 메타 인공 지능 연구소의 연구원이자 선임 관리자입니다. 그의 연구 관심 분야는 심층 강화 학습과 게임에서의 응용, 딥 러닝 모델의 이론적 분석입니다. 그는 2005년과 2008년 상하이자오퉁대학교에서 학사 및 석사학위를 취득했고, 2013년에는 미국 카네기멜론대학교 로봇공학연구소에서 박사학위를 취득했다.

DOC Framework

자연어 기술의 지속적인 발전으로 대규모 언어 모델에 의한 짧은 텍스트의 이해가 점차 병목 현상에 가까워지고 있으며 사람들은 점차 수천 개의 텍스트를 생성하는 등 긴 텍스트를 생성하는 데 관심을 갖게 되었습니다. 한 번에 말.

짧은 텍스트 생성 작업에 비해 긴 텍스트에는 더 많은 내용과 제한 사항이 포함되어 있습니다. 모델은 전반적인 일관성과 장기적인 사실적 일관성을 유지하고 사용자 출력의 전제 또는 계획과의 관련성을 유지해야 합니다.

Re3와 같은 스토리 생성 시스템은 인간에 비해 장거리 플롯 일관성을 보장할 수 없는 점, 글로벌 불일치, 설정된 계획에서 벗어난 스토리 콘텐츠 등 여러 측면에서 여전히 단점을 가지고 있습니다.

이 격차를 해소하기 위해 DOC(상세 개요 제어) 프레임워크는 Re3의 높은 수준의 계획-초안-수정 구조를 재사용하는 동시에 두 가지 보완적인 접근 방식을 통해 장기적인 일관성을 향상시킵니다.

상세 아웃라이너

먼저, 상세 아웃라이너는 짧은 초기 개요를 보다 상세하고 계층적인 개요로 다듬습니다. 이 디자인의 이유는 인간 작성자가 반복적으로 다듬고 확장하기 전에 긴 문서의 초안을 작성할 수 있기 때문입니다. 짧은 초기 개요.

작가는 새로운 줄거리를 즉흥적으로 작성하기보다는 초안 작성 과정에서 더 자세한 지침을 제공하기 위해 확장된 개요를 사용하여 상위 개요 단계에서 일관되고 중요한 줄거리를 계획할 수 있습니다.

초안 작성 단계에서 연구원들은 Re3 재작성 단계의 개요 관련성과 텍스트 일관성 재정렬을 재사용하여 현재 개요 프로젝트가 기사 단락을 완료한 시기를 감지하고 점수 임계값에 따라 조기 중단을 달성했습니다. .

개요에는 완전한 설정과 관련 문자가 있으며 각 개요 항목은 문맥의 관련성과 일관성을 위해 신중하게 심사됩니다.

구조화된 프롬프트에서 모델은 현재 설정, 설정 변경 사항을 강조 표시하고 개요에서 감지된 역할을 기반으로 역할 설명을 검색합니다.

이에 반해 Re3는 드래프트 과정에서 세그먼트별로 관련 캐릭터를 동적으로 선택하고 설정 정보를 추적하지 않아 스토리 설정에 예상치 못한 변화가 발생할 수 있습니다.

Detailed Controller

두 번째 세부 컨트롤러인 컴포넌트는 해당 개요 항목을 기준으로 단락 생성을 제어하여 세부 개요에 대한 충실도를 유지합니다.

상세한 개요는 중첩되는 소프트 제약 조건을 많이 부과하기 때문에 세부 컨트롤러는 충분한 제어 강도를 발휘해야 함과 동시에 유연한 자연어 입력에 적응하고 최신 기술을 사용할 때 생성되어야 합니다. 예술적인 대규모 언어 모델.

그래서 연구진은 세부 컨트롤러를 OPT350m 기반 컨트롤러로 구현하고, 요약 내용을 단락 접두사에 맞춰 정렬하는 대조 훈련 프로그램을 설계했습니다.

가장 중요한 것은, 연구원들이 생성된 단락이 처음부터 주제와 관련될 뿐만 아니라 전체에 걸쳐 용이하도록 많은 유창한 하드 네거티브를 구성했다는 것입니다.

실험 부분

실험에서 모델에 대한 입력은 보통 30~60 단어의 짧은 영어 전제이고 출력은 완전한 이야기입니다.

"좋은 스토리"의 정의는커녕 "스토리"의 정의가 아직 명확하지 않고 품질이 주로 수동 평가 지표에 의존하기 때문에 연구원들은 더 많은 규칙 제약을 부과하지 않았습니다.

주로 평가에서 세 가지 지표를 사용하며 이는 완전한 스토리보다는 단락 비교에 더 적합합니다.

1 일관성, 플롯이 일관적이라고 판단하는 단락의 비율

2 관련성, 해당 개요 항목을 충족한다고 판단되는 단락의 비율

3. 흥미로움, 흥미롭다고 판단되는 단락의 비율.

비교된 기본 모델에는 Re3, ROLLING-OPT 및 ROLLING-GPT가 포함됩니다.

실험 결과에서 볼 수 있듯이 Re3와 비교하여 주석 작성자는 DOC에서 생성된 플롯이 더 일관되고 윤곽선과 더 관련성이 높으며 ROLLING 기준선보다 더 높은 개선이 있다고 믿습니다.

그리고 그 결과는 모델 설계의 정확성, 즉 창의적 작업을 계획에서 제도로 전환하고 제어 메커니즘을 개선함으로써 플롯 일관성과 윤곽의 관련성이 향상된다는 점을 확인시켜 줍니다.

그리고 놀랍게도 주석 작성자는 DOC 단락이 훨씬 더 흥미롭다고 믿었습니다. 연구원들은 이것이 더 자세한(더 많은 이벤트 기반) 개요에 의해 가져온 개선이라고 믿었습니다.

그러나 정성적 분석에 따르면 모델에는 여전히 추가 개선의 여지가 큰 것으로 나타났습니다.

RE3와 달리 DOC는 일반적으로 최상위 개요에서 크게 벗어나지 않는 반면 RE3는 때때로 주제에서 거의 완전히 벗어나지만 DOC는 세부 개요의 하위 수준 부분을 따르지 않는 경우가 많습니다.

DOC 및 RE3에는 여전히 내부 일관성 문제가 있으며, 세부 개요에 가끔 오류가 있으면 특히 부정적인 영향을 미쳐 초안 작성 과정에서 연쇄 오류가 더 커질 수 있습니다.

또한 DOC의 개요는 세부 수준에서 일관성이 없는 경우가 많습니다. 일부는 너무 모호하고 다른 일부는 지나치게 확장된 것처럼 보입니다.

또한 모델에서 감지한 설정과 문자가 때로는 부정확하거나 불완전할 수 있으며, 아래 예는 위의 개요를 기반으로 DOC에서 작성한 스토리를 크게 요약한 것입니다.

위 내용은 Tian Yuandong 팀은 'Long Story Generator' DOC의 두 번째 버전을 출시했습니다. 일관성이 크게 향상되었으며 재미가 20.7% 증가했습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!