새 제목: Meta는 Transformer 아키텍처를 개선합니다: 추론 기능을 향상시키는 새로운 주의 메커니즘

대형 언어 모델(LLM)의 위력은 의심할 여지가 없는 사실입니다. 그러나 여전히 단순한 실수를 저지르는 경우가 있어 추론 능력이 약한 면을 보여줍니다.

예를 들어 LLM은 상황이나 선호도 또는 의견에 따라 관련이 없을 수 있습니다. 입력 프롬프트에 내재되어 있습니다. 후자의 경우에 나타나는 문제는 모델이 입력과 일관성을 유지하는 "아첨"이라고 합니다. 이러한 종류의 문제를 완화할 수 있는 방법이 있습니까? 일부 학자들은 지도 학습 데이터를 더 추가하거나 강화 학습 전략을 추가하여 이를 해결하려고 시도하지만 이러한 방법으로는 문제를 근본적으로 해결할 수 없습니다

최근 연구에서 Meta 연구자들은 Transformer 모델 자체가 구축되는 방식에 근본적인 문제가 있다고 지적했습니다. 특히 주의 메커니즘에 문제가 있습니다. 즉, 소프트 어텐션은 대부분의 컨텍스트(관련 없는 부분 포함)에 확률을 할당하는 경향이 있고 반복되는 토큰에 너무 많은 주의를 기울이는 경향이 있습니다.

따라서 연구자들은 완전히 다른 어텐션 메커니즘 접근법을 제안했습니다. LLM을 자연어 추론기로 사용합니다. 특히 그들은 자신의 추론을 왜곡하지 않는 관련 자료만 포함할 수 있도록 초점을 맞춰야 하는 맥락을 생성하도록 유도하는 지침을 따르는 LLM의 능력을 활용했습니다. 연구자들은 이 프로세스를 시스템 2 주의(S2A)라고 부르며, 기본 변환기와 그 주의 메커니즘을 인간의 시스템 1 추론

사람들이 작업에 특별한 주의를 기울여야 할 때와 시스템 1에 특별한 주의를 기울여야 할 때 뭔가 잘못되면 시스템 2가 격렬한 정신 활동을 할당하고 인간의 일을 대신합니다. 따라서 이 하위 시스템은 연구원이 제안한 S2A와 유사한 목표를 가지고 있으며, 추가적인 추론 엔진 작업을 통해 위 변환기의 Soft Attention의 실패를 완화하기를 희망합니다

다시 작성해야 할 내용은 다음과 같습니다. 논문 링크 : https://arxiv.org/pdf/2311.11829.pdf

연구원은 S2A 메커니즘의 범주, 이를 제안한 동기 및 몇 가지 구체적인 구현을 자세히 설명했습니다. 실험 단계에서 그들은 S2A가 표준 주의 기반 LLM

보다 더 객관적이고 덜 주관적인 편향 또는 아첨하는 LLM을 생성할 수 있음을 확인했습니다. 특히 질문에 간섭하는 관점이 포함된 수정된 TriviQA 데이터 세트에서 LLaMA와 비교하여 더욱 그렇습니다. -2-70B-채팅, S2A는 산만한 입력 감정을 포함하는 긴 형식 매개변수 생성 작업에서 사실성을 62.8%에서 80.3%로 향상시켰으며, S2A의 객관성은 57.4% 향상되었으며 기본적으로 관점 삽입의 영향을 받지 않았습니다. 또한 GSM-IC에서 관련 없는 문장이 포함된 수학 단어 문제의 경우 S2A는 정확도를 51.7%에서 61.3%로 향상시켰습니다.

이 연구는 Yann LeCun이 추천했습니다.

System 2 Attention

아래 그림 1은 의사 상관의 예를 보여줍니다. 가장 강력한 LLM이라도 문맥에 관련 없는 문장이 포함되어 있으면 대답을 간단한 사실 질문으로 변경합니다. 문맥에 단어가 있으면 실수로 잘못된 대답의 확률이 높아지기 때문입니다

더 잘 이해되고 더 사려 깊은 주의 메커니즘을 사용합니다. 이를 하위 수준 주의 메커니즘과 구별하기 위해 연구진은 S2A라는 시스템을 제안했습니다. 그들은 LLM 자체를 활용하여 주의 메커니즘을 구축하는 방법을 모색했습니다. 특히 관련 없는 텍스트를 제거하여 LLM을 조정하여 상황별 지침을 다시 작성하는 방법을 모색했습니다

이 접근 방식을 통해 LLM은 응답을 생성하기 전에 응답할 수 있습니다. 신중한 추론 및 의사 결정 입력의 관련 부분에 대해. 명령 조정 LLM을 사용하는 또 다른 이점은 주의 집중을 제어할 수 있다는 것입니다. 이는 인간이 주의를 제어하는 ​​방식과 다소 유사합니다.

• 컨텍스트 x가 주어지면 S2A는 먼저 컨텍스트 x'를 재생성하여 출력에 부정적인 영향을 미칠 수 있는 관련 없는 부분을 제거합니다. 본 글에서는 x' ∼ S2A(x)로 표현하고 있다.
• x ′가 주어지면 원래 컨텍스트 대신 재생성된 컨텍스트가 사용되어 LLM의 최종 응답 y ∼ LLM (x ′)을 생성합니다.

대체 구현 및 변형

이 기사에서는 상황과 문제 구분 없이 S2A 접근 방식의 여러 가지 버전

을 살펴보았습니다. 그림 2의 구현에서 우리는 두 부분(컨텍스트와 질문)으로 분해된 컨텍스트를 재생성하기로 선택했습니다. 그림 12에서는 이 프롬프트의 변형을 보여줍니다.

원래 컨텍스트 보존 S2A에서는 컨텍스트를 재생성한 후 처리해야 하는 모든 필수 요소를 포함해야 하며 모델은 재생성된 컨텍스트에서만 응답하고 원래 컨텍스트는 삭제됩니다. 그림 14에서는 이 프롬프트의 변형을 보여줍니다.

명령형 프롬프트. 그림 2에 제공된 S2A 프롬프트는 상황에서 독선적인 텍스트를 제거하도록 권장하고 2단계의 지침을 사용하여 독선적이지 않은 응답을 요구합니다(그림 13).

S2A 구현은 모두 객관성을 높이고 아첨을 줄이기 위해 컨텍스트 재생성을 강조합니다. 그러나 기사에서는 강조해야 할 다른 사항이 있다고 주장합니다. 예를 들어 관련성과 관련성이 없음을 강조할 수 있습니다. 그림 15의 프롬프트 변형은 예를 제공합니다

Experiment

이 기사에서는 사실 질문 및 답변, 긴 인수 생성, 수학 응용 문제 해결이라는 세 가지 설정에서 실험을 수행했습니다. 또한 이 백서에서는 LLaMA-2-70B-chat을 기본 모델로 사용하며 이는 두 가지 설정으로 평가됩니다.

• 기본: 데이터 세트에 제공된 입력 프롬프트가 모델에 공급되고 제로샷 방식으로 응답됩니다. . 모델 생성은 입력에 제공된 허위 상관 관계의 영향을 받을 수 있습니다.
• Oracle 프롬프트: 추가 의견이나 관련 없는 문장이 없는 프롬프트가 모델에 입력되어 제로샷 방식으로 응답됩니다.

그림 5(왼쪽)는 사실 질문 답변에 대한 평가 결과를 보여줍니다. System 2 Attention은 원래 입력 프롬프트에 비해 크게 개선되어 Oracle Prompt 성능에 가까운 80.3%의 정확도를 달성합니다.

전체 결과에서는 베이스라인, Oracle Prompt 및 System 2 Attention이 모두 유사한 고품질 평가를 제공할 수 있는 것으로 평가되었습니다. 그림 6(오른쪽)은 하위 결과를 보여줍니다.

GSM-IC 작업에서 그림 7은 다양한 방법의 결과를 보여줍니다. Shi et al.의 결과와 일치하여 기준 정확도가 oracle보다 훨씬 낮다는 것을 알 수 있습니다. 이 효과는 그림 7(오른쪽)

과 같이 관련 없는 문장이 질문과 동일한 주제에 속할 때 더욱 커집니다.

위 내용은 새 제목: Meta는 Transformer 아키텍처를 개선합니다: 추론 기능을 향상시키는 새로운 주의 메커니즘의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!