[논문해석] System 2 Attention은 대규모 언어 모델의 객관성과 사실성을 향상시킵니다.

1. 간략한 소개

이 글에서는 "System 2 Attention(당신에게도 필요할 수 있습니다)"이라는 논문을 간략하게 소개합니다. ”관련 일하다. 변환기 기반 대형 언어 모델(LLM)의 소프트 어텐션은 컨텍스트의 관련 없는 정보를 기본 표현에 쉽게 통합할 수 있으며, 이는 다음 토큰 생성에 부정적인 영향을 미칠 수 있습니다. 이러한 문제를 해결하는 데 도움이 되도록 이 백서는 LLM의 기능을 활용하여 자연어로 추론하고 지침에 따라 처리할 내용을 결정하는 S2A(System 2 Attention)를 소개합니다. S2A는 관련 부분만 포함하도록 입력 컨텍스트를 재생성한 다음 재생성된 컨텍스트를 처리하여 최종 응답을 도출합니다. 실험에서 S2A는 의견이나 관련 없는 정보가 포함된 세 가지 작업(QA, 수학적 단어 문제, 긴 형식 생성)에서 표준 주의 기반 LLM보다 성능이 뛰어납니다. 여기서 S2A는 사실성과 객관성을 높이고 허위성을 줄입니다.

2. 연구 배경

대형 언어 모델(LLM)은 매우 유능하지만 여전히 약한 추론 능력을 보이는 것과 유사한 단순한 실수를 저지르는 경향이 있습니다. 예를 들어, 관련 없는 맥락으로 인해 잘못 판단될 수 있거나 입력이 고유한 선호도나 의견을 암시할 수 있으며 후자의 경우 모델이 입력과 일치하는 경우 추종자 문제를 나타냅니다. 따라서 강력한 기능에도 불구하고 LLM은 경우에 따라 모델이 입력을 모방하는 경향인 팔로어십이라는 문제를 겪을 수 있습니다. 이 경우 모델과 입력이 일치하지 않아 모델이 잘못된 판단을 내리거나, 입력이 고유한 선호도나 의견을 제시할 수 있습니다. 후자의 경우 모델이 모델과 일치하는 문제가 있습니다. 입력. 그러나 데이터 및 훈련 프로세스를 조정하면 LLM의 다음 문제가 완화될 수 있습니다

일부 방법은 더 많은 감독 훈련 데이터 또는 강화 학습 전략을 추가하여 이러한 문제를 완화하려고 시도하지만 토론 문서에서는 잠재적인 문제를 가정합니다. 이는 변압기 자체가 구축되는 방식, 특히 주의 메커니즘에 내재되어 있습니다. 즉, 소프트 어텐션은 관련 없는 부분을 포함하여 대부분의 컨텍스트에 확률을 할당하는 경향이 있으며 반복되는 토큰에 지나치게 집중하는 경향이 있습니다. 이는 부분적으로 훈련된 방식으로 인해 부분적으로 위치 인코딩 메커니즘도 컨텍스트를 단어로 처리하는 경향이 있기 때문입니다. 바지.

이 작업에서 토론 문서는 주의 메커니즘을 처리하는 완전히 다른 방법, 즉 LLM을 자연어 추론기로 사용하여 주의를 수행하는 방법을 조사합니다. 특히 토론에서는 LLM이 지침을 따르고 추론을 대체하지 않는 관련 자료만 포함하도록 주의를 기울여야 할 맥락을 생성하도록 유도하는 능력을 활용합니다. 논의에서는 이 프로세스를 시스템 2 주의(S2A)라고 부릅니다. 기본 변환기와 해당 주석 메커니즘이 인간 시스템 1 추론과 유사한 자동 작업으로 볼 수 있기 때문입니다. 시스템 2는 주의 활동을 할당하여 작업에 의도적인 주의가 필요할 때 이를 대신합니다. 특히 시스템 1이 실수할 가능성이 있는 경우에는 더욱 그렇습니다. 따라서 이 하위 시스템은 논의된 S2A 접근 방식의 목표와 유사합니다. 논의의 목표는 LLM 외부의 고의적인 노력을 완화하여 위에서 논의한 소프트 주석의 실패를 완화하는 것입니다.

시스템 2의 주의 메커니즘 클래스에 대해 추가 동기 부여가 제공되며 몇 가지 구체적인 구현이 아래에 자세히 소개됩니다. 다음에서는 S2A가 표준 주의 기반 LLM에 비해 더 현실적이고 덜 강박적이거나 비뚤어진 생성을 생성할 수 있음을 실험적으로 입증하는 방법에 대해 논의합니다. 특히 질문에 방해꾼 의견이 포함된 수정된 TriviQA 데이터 세트에서 S2A는 LLaMa-2-70b 채팅에 비해 사실성을 62.8%에서 80.3%로 높이고, 방해꾼 입력 감정을 포함하는 장기 쿼리의 경우 생성된 인수는 객관성을 높였습니다. 57.4%는 삽입된 의견에 크게 영향을 받지 않았습니다. 마지막으로, GSM-IC에서 주제와 관련 없는 문장이 포함된 수학 어휘 질문의 경우 S2A는 정확도를 51.7%에서 61.3%로 향상했습니다.

3, 시스템 2 주의

3.1 동기 부여

대규모 언어 모델은 사전 학습 과정을 통해 뛰어난 추론 능력과 많은 양의 지식을 얻었습니다. 그들의 다음 단어 예측 목표는 현재 문맥에 세심한 주의를 기울이는 것을 요구합니다. 예를 들어, 한 컨텍스트에서 엔터티가 언급되면 나중에 동일한 컨텍스트에서 동일한 엔터티가 다시 나타날 가능성이 높습니다. Transformer 기반 LLM은 Soft Attention 메커니즘을 통해 맥락에서 유사한 단어와 개념을 찾을 수 있기 때문에 이러한 통계적 상관 관계를 학습할 수 있습니다. 이는 다음 단어 예측 정확도를 향상시킬 수 있지만 LLM이 해당 맥락에서 허위 상관 관계의 부작용에 취약하게 만듭니다. 예를 들어, 반복할 때마다 문구를 반복할 확률이 증가하여 긍정적인 피드백 루프가 생성되는 것으로 알려져 있습니다. 이 문제를 소위 사소하지 않은 반복으로 일반화하면 모델은 특정 토큰이 아닌 맥락에서 관련 주제를 반복하는 경향이 있습니다. 기본 표현이 동일한 주제 공간에서 더 많은 토큰을 예측할 수 있기 때문입니다. 맥락에 모델이 복제하는 아이디어가 포함되는 경우 이를 추종성이라고 부르지만 일반적으로 논문에서는 문제가 단순히 의견에 동의하는 것이 아니라 위에서 논의한 모든 맥락과 관련이 있다고 간주합니다.

그림 1은 의사 상관의 예를 보여줍니다. 컨텍스트에 관련 없는 문장이 포함된 경우에도 가장 강력한 LLM은 답변을 간단한 사실 질문으로 변경하며, 이는 컨텍스트에 존재하는 토큰으로 인해 잘못된 답변의 라벨링 확률을 의도치 않게 증가시킵니다. 이 예에서 추가된 맥락은 질문과 관련이 있는 것 같습니다. 둘 다 도시와 출생지에 관한 것이기 때문입니다. 그러나 더 깊이 이해하면 추가된 텍스트가 관련성이 없으며 무시되어야 한다는 것이 분명해집니다.

이는 더 깊은 이해에 의존하는 보다 신중한 주의 메커니즘의 필요성을 촉발합니다. 이를 하위 수준 주의 메커니즘과 구별하기 위해 이 논문에서는 이를 시스템 2 주의(S2A)라고 부릅니다. 이 기사에서는 LLM 자체를 사용하여 이러한 주의 메커니즘을 구축하는 방법을 탐구합니다. 특히 이 논문에서는 명령 조정 LLM을 사용하여 관련 없는 텍스트를 제거하여 컨텍스트를 다시 작성합니다. 이러한 방식으로 LLM은 응답을 출력하기 전에 사용할 입력 부분에 대해 신중한 추론 결정을 내릴 수 있습니다. 교육 조정 LLM 사용의 또 다른 이점은 주의 집중을 제어할 수 있는 능력이며, 이는 인간이 주의를 제어하는 ​​방식과 유사할 수 있습니다.

3.2 구현

이 논문에서는 일반적인 시나리오를 고려합니다. 즉, LLM(대형 언어 모델)에 x로 표시되는 컨텍스트가 제공되고 목표는 고품질 y로 표시되는 시퀀스. 이 과정은 y∼LLM(x)로 표현된다.

System 2 Attention(S2A)은 간단한 2단계 프로세스입니다.

1. 컨텍스트 x가 주어지면 S2A는 먼저 컨텍스트 x'를 재생성하여 컨텍스트가 출력에 부정적인 영향을 미치도록 관련 없는 부분은 삭제되었습니다. 종이는 이것을 x'∼S2A(x)로 표현한다.
2. x'가 주어지면 논문은 원래 컨텍스트 대신 재생성된 컨텍스트를 사용하여 LLM의 최종 응답: y∼LLM(x')을 생성합니다.

S2A는 1단계를 구현하는 다양한 방법을 갖춘 일종의 기술이라고 볼 수 있습니다. 논문의 구체적인 구현에서 논문은 S2A에서 요구하는 것과 유사한 작업을 추론하고 생성하는 데 이미 능숙한 범용 명령 조정 LLM을 활용하므로 이 프로세스를 힌트를 통해 지침으로 구현할 수 있습니다.

구체적으로 S2A(x) = LLM(PS2A(x))입니다. 여기서 PS2A는 LLM에 제로샷 프롬프트를 생성하여 필요한 시스템 2 주의 작업을 수행하도록 지시하는 함수입니다.

그림 2는 실험에 사용된 팁 PS2A를 보여줍니다. 이 S2A 명령은 LLM에게 컨텍스트를 재생성하여 주어진 쿼리에 대한 관련 컨텍스트를 제공하는 데 도움이 되는 부분을 추출하도록 요청합니다. 이 구현에서는 모델의 추론 단계를 명확하게 하기 위해 쿼리 자체에서 유용한 컨텍스트를 분리하는 x'를 생성해야 합니다.

일반적으로 일부 후처리를 1단계의 출력에 적용하여 2단계의 프롬프트를 구성할 수도 있습니다. 왜냐하면 LLM 이후의 지침이 요청된 필드 외에 생성되기 때문입니다. 추가 사고 사슬 추론 및 주석. 이 논문에서는 그림 2에서 괄호 안의 요청된 텍스트를 제거하고 그림 13에 제공된 추가 설명을 추가합니다. 다음 하위 섹션에서는 S2A의 다양한 다른 가능한 구현을 고려합니다.

3.3 대체 구현 및 변형

이 문서에서는 S2A 방법의 여러 변형을 고려합니다.

컨텍스트/질문 분리 없음 그림 2의 구현에서 백서는 컨텍스트(컨텍스트와 질문)를 두 부분으로 나누어 재생성하기로 선택합니다. 이는 특히 모델이 프롬프트 자체의 대상(질문/쿼리)을 무시하지 않으면서 주의를 기울여야 하는 모든 컨텍스트를 복사하도록 장려하기 위한 것입니다. 논문에서는 일부 모델이 필요한 모든 컨텍스트를 복사하는 데 어려움을 겪을 수 있지만 짧은 컨텍스트(또는 강력한 LLM)의 경우 이것이 필요하지 않을 수 있으며 단순히 분할되지 않은 재작성이 필요한 S2A 힌트이면 충분하다는 점을 관찰했습니다. 이 프롬프트 변형은 그림 12에 나와 있습니다.

원본 컨텍스트 유지 S2A에서는 컨텍스트가 재생성된 후 필요한 모든 요소가 포함되고 모델은 재생성된 컨텍스트 x'만 제공하므로 원래 컨텍스트 x는 삭제됩니다. S2A의 성능이 저하되고 관련성이 없는 것으로 간주되어 제거된 원래 컨텍스트 중 일부가 실제로 중요한 경우 정보가 손실됩니다. "원본 유지" 변형에서는 S2A 프롬프트를 실행한 후 x'가 원래 프롬프트 x에 추가되므로 원래 컨텍스트와 재해석이 모두 모델에 액세스할 수 있습니다. 이 접근 방식의 한 가지 문제점은 원래의 관련 없는 정보가 여전히 존재하고 최종 세대에 여전히 영향을 미칠 수 있다는 것입니다. 이 프롬프트 변형은 그림 14에 나와 있습니다.

지시 프롬프트 그림 2에 제공된 S2A 프롬프트는 의견에 영향을 받은 텍스트를 컨텍스트에서 제거하고 2단계(그림 13)의 지침을 사용하여 영향을 받은 응답이 되지 않도록 요청하도록 권장합니다. 논문에서는 후자를 제거하고 S2A의 2단계에 대한 프롬프트 템플릿에서 이 지침을 제거할 수 있습니다. 또한 이를 (S2A를 완전히 수행하는 대신) 그림 13의 추가 명령 요청을 원래 컨텍스트에 추가하는 추가 기준과 비교할 수도 있습니다.

관련성/비관련성 강조 지금까지 설명한 S2A 구현에서는 객관성을 높이고 추종 가능성을 줄이기 위해 컨텍스트 재생성을 강조합니다. 그러나 특정 상황이 해결되어야 함을 강조하는 다른 방법이 있습니다. 예를 들어, 무관함보다는 관련성을 강조할 수 있습니다. 이 접근법의 예는 그림 15의 프롬프트 변형에 제공되며 논문의 실험에도 사용될 것입니다.

IV. 실험

본 논문에서는 S2A를 평가하기 위해 사실적 QA 평가, 장기 생성 평가, 수학 단어 문제 해결이라는 세 가지 상황에서 실험을 수행합니다.

4.1 작업 및 실험 설정

4.1.1 사실적 QA 평가

본 논문은 직접적인 사실 탐구 질문을 제기하는 SycophancyEval1의 TriviaQA 수정 버전을 사용합니다. 댓글 프롬프트에 제공됩니다. 그림 4를 참조하세요. 특히, 질문을 하는 것 외에도 다음 템플릿 문장에 따라 세 가지 가능한 설명 중 하나가 프롬프트에 추가됩니다. 대답], 하지만 정말 잘 모르겠습니다." 이 진술은 별도의 사실 추구 질문 기준선보다 표준 모델을 정답으로 이끌 가능성이 더 높습니다. 그 대답이 [정답]이라고 생각하지도 않지만 잘 모르겠습니다." 이러한 진술은 표준 모델을 왜곡하는 경향이 있으며 기준선에 비해 잘못된 답변으로 이어지는 경우가 많습니다.

4.1.2 Longform Generation Evaluation

이 문서에서는 제공된 참조의 매개 변수 컨텍스트에 대한 설명이 필요한 SycophancyEval의 매개 변수 힌트도 사용합니다. 프롬프트 추가 설명을 추가합니다. 그림 18(하단)을 참조하세요. 특히 질문을 하고 맥락을 제공하는 것 외에도 다음 템플릿 문장으로 제공되는 좋아요, 썼다, 싫어요, 쓰지 않음으로 표시되는 네 가지 가능한 댓글 중 하나가 프롬프트에 추가됩니다.

Like

: "나는 이 주장을 좋아합니다." 또는

Wrote

: "나는 이 주장을 썼습니다." 긍정적인 리뷰입니다.

Dislike

: "나는 이 주장을 싫어합니다." 그리고

쓰지 않았습니다: "나는 이 주장을 쓰지 않았습니다." 이러한 진술은 더 부정적인 논평을 제공하기 위해 표준 모델을 왜곡하는 경향이 있습니다.

이 논문에서는 GPT-4를 사용하여 원래 질문(추가 코멘트 없음)과 모델 응답만 주어진 상태에서 모델 응답의 품질을 측정하여 200개의 팁을 평가합니다. 그림 10은 GPT-4에서 사용되는 평가 프롬프트를 제공하며 1~5점을 생성합니다. 이 논문은 또한 생성된 모델 응답의 객관적인 측정을 보고합니다. 이를 위해 논문에서는 그림 11에 제공된 프롬프트를 사용하여 모델 응답의 정서를 측정하도록 GPT-4에 요청합니다. 이는 -5에서 5까지(부정에서 긍정적 정서, 0은 중립) 범위의 점수 S를 생성합니다. 그런 다음 논문에서는 5−|S|의 객관성 점수를 보고합니다. 여기서 S = 0의 중립 응답은 가능한 가장 높은 점수인 5에 도달합니다.

4.1.3 수학 단어 문제

이 논문에서는 문제의 수학 단어에 관련 없는 문장을 추가하는 GSM-IC 작업에 대한 논문의 방법도 테스트했습니다. 이러한 주의를 산만하게 하는 문장은 특히 동일한 주제에 관한 것이지만 질문과 관련이 없는 경우 LLM 정확도에 부정적인 영향을 미치는 것으로 나타났습니다. GSM-IC는 GSM8K에서 선택한 100개의 질문을 사용했으며 마지막 질문 앞에 산만한 문장을 추가했습니다. 이 작업은 다양한 유형의 산만한 문장을 제공하지만 논문에서는 두 가지 설정, 즉 무작위 산만함(작업에서 구성된 세트에서)과 주제 내 산만함을 실험합니다. 그림 3에 예가 나와 있습니다.

이 논문에서는 모델 출력에서 ​​추출된 최종 답과 라벨 간의 일치 정확도를 보고합니다. 분산을 줄이기 위해 논문은 3개의 무작위 시드를 평균화합니다.

4.1.4 Main Methods

논문에서는 LLaMA-2-70B-chat을 기본 모델로 사용합니다. 논문에서는 먼저 두 가지 시나리오에서 이를 평가합니다.

기준: 데이터 세트에 제공된 입력 프롬프트가 모델에 공급되고 제로샷 방식으로 응답됩니다. 모델 생성은 입력에 제공된 허위 관련성(의견 또는 관련 없는 정보)의 영향을 받을 가능성이 높습니다.

Oracle 프롬프트: 추가 설명이나 관련 없는 문장이 없는 프롬프트가 모델에 입력되어 제로샷 방식으로 응답됩니다. 논문이 관련 없는 정보를 최적으로 무시하는 경우 이는 성능에 대한 대략적인 상한선으로 볼 수 있습니다.

이 문서에서는 구현 섹션에 설명된 두 단계에서 LLaMA-2-70B-chat도 사용하는 S2A와 이 두 가지 방법을 비교합니다. 세 가지 모델 모두에 대해 논문에서는 온도 0.6, top-p 0.9의 디코딩 매개변수를 사용합니다.

S2A의 사실적 QA 및 긴 형식 생성 작업의 경우 이 논문에서는 1단계의 그림 2에 제공된 팁과 2단계의 그림 13에 제공된 팁을 사용하여 사실성과 객관성을 강조합니다. 수학 단어 문제의 경우 이 작업의 초점은 텍스트와 문제 사이의 상관 관계이므로 문서에서는 그림 15에 제공된 S2A 프롬프트만 사용하여 S2A에게 관련 텍스트에 참석하도록 지시합니다.

4.2 결과

System 2 Attention은 의견이 포함된 질문에 대한 사실성을 높입니다. 그림 5(왼쪽)는 사실적 QA 평가의 전체 결과를 보여줍니다. 문맥에 포함된 의견으로 인해 답변의 정확성이 떨어진 입력 프롬프트는 62.8%의 정답률을 기록했습니다. 이에 비해 Oracle 프롬프트는 82.0%에 달했습니다. 시스템 2 노트는 원래 입력 프롬프트에 비해 정확도가 80.3%로 크게 향상되어 오라클 프롬프트 성능에 가깝습니다.

그림 5(오른쪽)에 표시된 성능 분석은 모델이 잘못된 답변을 생성하도록 영향을 받았기 때문에 입력 힌트를 사용하는 기준선이 올바른 제안 및 잘못된 범주 제안에서 예측 정확도를 잃는다는 것을 보여줍니다. 그러나 올바른 범주 제안의 경우 정답이 제안되어 복사되는 경향이 있기 때문에 입력 프롬프트가 실제로 오라클 프롬프트보다 성능이 뛰어납니다. 이러한 발견은 Sharma et al.(2023)의 이전 연구 결과와 일치합니다. 이에 비해 S2A는 모든 카테고리에 대해 저하가 거의 또는 전혀 없고, 의견에 쉽게 영향을 받지 않으며, 잘못된 카테고리 제안에 대해서는 약간의 손실만 있습니다. 그러나 이는 정답 제안이 정답 제안 카테고리에 속해 있으면 정확도가 높아지지 않는다는 의미이기도 합니다.

System 2 Attention은 긴 형식 세대에서 객관성을 높입니다

그림 6(왼쪽)은 매개변수 평가의 긴 형식 생성에 대한 전반적인 결과를 보여줍니다. 기준선, Oracle 프롬프트 및 S2A는 모두 유사한 고품질 평가를 제공하는 것으로 평가되었습니다(Oracle 및 S2A의 경우 4.6, 기준선의 경우 4.7, 5점 만점). 그러나 기준선의 평가는 oracle 프롬프트보다 더 객관적인 반면(5점 만점에 2.23 대 3.0), S2A는 3.82점으로 기준선이나 oracle 프롬프트보다 더 객관적입니다. 이 작업에서 컨텍스트 매개변수 자체는 입력 프롬프트에 추가된 추가 주석과 관계없이 텍스트가 제공하는 상당한 영향을 미칠 수 있으며 S2A는 컨텍스트를 재생성할 때 이를 줄일 수도 있습니다.

그림 6(오른쪽)에 표시된 성능 분석은 특히 좋아요 및 쓰기 범주의 경우 기준의 객관성이 감소하여 반응에서 긍정적인 감정이 증가한다는 것을 보여줍니다. 대조적으로, S2A는 베이스라인과 오라클에 비해 프롬프트(카테고리 없음)에 추가 의견이 없는 카테고리를 포함해 모든 카테고리에서 더 객관적인 응답을 제공합니다.

System 2 Attention은 관련 없는 문장으로 수학 단어 문제의 정확성을 높입니다. 그림 7은 GSM-IC 작업의 결과를 보여줍니다. Shi et al.(2023)의 연구 결과와 일치하여, 이 논문에서는 그림 7(왼쪽)과 같이 무작위 선택 항목의 기본 정확도가 Oracle의 정확도(관련 없는 문장 없이 동일한 프롬프트가 입력됨)보다 훨씬 낮다는 것을 발견했습니다. 이러한 효과는 그림 7(오른쪽)의 질문과 관련 없는 문장이 동일한 주제에 관한 경우 더욱 커집니다. 이 논문에서는 LLaMA-2-70B-chat(그림 16 참조)에서 S2A의 기준선, Oracle 및 2단계를 사용했으며 모델이 해당 솔루션에서 항상 사고 사슬 추론을 수행했음을 발견했습니다. 관련 없는 문장을 무시하라는 안내(지시 프롬프트) 외에 지시 사항을 추가해도 지속적인 개선이 이루어지지 않았습니다. S2A가 질문을 해결하기 전에 질문 텍스트의 관련 부분을 추출하면 무작위 선택 항목의 정확도가 12%, 주제 선택 항목의 정확도가 10% 증가했습니다. 그림 3은 방해 문장을 제거하는 S2A의 예를 보여줍니다. 또한 이 문서는 텍스트에 설명된 일부 변형에 대해 테스트하고 실제 QA 작업 성능을 이전과 같이 측정했습니다. 결과는 그림 8에 나와 있습니다.

S2A의 "단일" 버전은 재생성된 컨텍스트를 문제가 있는 구성 요소와 문제가 없는 구성 요소로 분리하지 않으며 최종 성능은 S2A(기본) 버전과 유사하지만 성능이 약간 떨어집니다. 더 나쁜.

S2A의 "Keep Original" 버전("S2A-KeepOrig"라고 함)에는 S2A에서 생성된 재생성 컨텍스트 외에도 여전히 원래 컨텍스트에 집중할 수 있는 최종 세대가 있습니다. 논문에서는 이 방법이 표준 S2A에 비해 성능을 저하시키는 것으로 나타났으며, 전체 정확도는 S2A의 80.3%에 비해 74.5%였습니다. LLM의 기존 S2A 버전에 전체 컨텍스트가 제공되더라도 여전히 영향을 받은 원래 프롬프트에 집중할 수 있으므로 성능이 저하되는 것으로 보입니다. 이는 맥락에서 관련성이 없거나 허위 관련성을 피해야 할 때 주의가 부드럽기보다는 단단해야 함을 의미합니다.

2단계에서 편향성 제거 프롬프트를 추가하지 않는 S2A(S2A-NI)의 "Not Instructed" 버전은 전체 정확도에서 S2A보다 약간 나쁩니다. 그러나 논문에서는 이 경우와 같이 올바른 범주를 제안하는 데 왜곡이 나타나는 것으로 봅니다.

표준 LLM에 편향성 제거 힌트("표시 힌트")를 추가하면 기준 LLM의 성능이 향상되지만(62.8%에서 71.7%) S2A(80.3%)만큼 향상되지는 않습니다. 이 방법은 여전히 ​​​​보입니다. 추종성. 특히, 정확한 제안 카테고리에서 베이스라인의 정확도 92%는 오라클 프롬프트보다 높아(이 경우 올바른) 제안에 영향을 받는다는 것을 알 수 있습니다. 마찬가지로, 잘못된 제안 범주의 성능은 oracle 프롬프트보다 낮았지만(38% 대 82%), 올바른 제안 범주의 성능이 더 좋았고 이 방법이 도움이 되는 것 같았습니다. Papers는 또한 프롬프트에 "종이가 단계별로 생각하도록 하세요"를 추가하여 또 다른 교육 프롬프트인 제로샷 CoT(상상 사슬) 프롬프트를 시도했지만 이는 더 나쁜 결과를 가져왔습니다.

5. 요약 및 토론

논문에서는 LLM이 좋은 응답을 생성하기 위해 입력 컨텍스트의 중요한 부분을 결정할 수 있도록 하는 기술인 System 2 Attention(S2A)을 제안합니다. 이는 LLM이 먼저 관련 부분만 포함하도록 입력 컨텍스트를 재생성한 다음 재생성된 컨텍스트를 처리하여 최종 응답을 도출하도록 유도함으로써 달성됩니다. 이 논문은 S2A가 최종 답변을 약화시킬 수 있는 컨텍스트를 성공적으로 다시 작성할 수 있음을 실험적으로 증명하므로, 논문의 방법은 사실을 개선하고 답변의 후속 조치를 줄일 수 있습니다.

향후 연구를 위한 방법은 아직 많습니다. 논문의 실험에서 논문은 제로샷 프롬프트를 사용하여 S2A를 구현합니다. 예를 들어 미세 조정, 강화 학습 또는 대체 프롬프트 기술을 고려하여 다른 접근 방식을 통해 논문의 접근 방식을 더욱 개선할 수 있습니다. 성공적인 S2A는 예를 들어 원래 프롬프트를 입력으로 사용하고 최종 개선된 S2A 응답을 목표로 사용하여 미세 조정하여 표준 LLM 생성으로 다시 정제할 수도 있습니다.

부록:

 

위 내용은 [논문해석] System 2 Attention은 대규모 언어 모델의 객관성과 사실성을 향상시킵니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!