'아첨'은 RLHF 모델에서 일반적이며 Claude에서 GPT-4에 면역되는 사람은 없습니다.

AI계에 있든 다른 분야에 있든, LLM(대형 언어 모델)을 어느 정도 사용해 본 적이 있을 겁니다. 모두가 LLM이 가져온 다양한 변화를 칭찬할 때 대형 모델의 몇 가지 단점이 점차 드러나게 됩니다. 밖으로.

예를 들어, 얼마 전 Google DeepMind는 LLM이 일반적으로 "아첨하는" 인간 행동을 보인다는 사실을 발견했습니다. 즉, 때때로 인간 사용자의 견해가 객관적으로 부정확할 수 있으며 모델은 사용자의 견해를 따르도록 응답을 조정합니다. 아래 그림과 같이 사용자는 모델에게 1+1=956446을 알려주고 모델은 인간의 지시를 따르며 이 답이 옳다고 믿습니다.

이미지 출처 https://arxiv.org/abs/2308.03958

실제로 이런 현상은 많은 AI 모델에서 흔히 발생하는 이유는 무엇일까요? AI 스타트업 Anthropic의 연구원들은 이 현상을 분석했는데, 이는 부분적으로 "아첨" 반응에 대한 인간의 선호로 인해 "아첨"이 RLHF 모델의 일반적인 행동이라고 믿습니다.

논문 주소: https://arxiv.org/pdf/2310.13548.pdf

다음으로 구체적인 연구 과정을 살펴보겠습니다.

GPT-4와 같은 AI 보조자는 보다 정확한 답변을 생성하도록 훈련되었으며 대부분은 RLHF를 사용합니다. RLHF를 사용하여 언어 모델을 미세 조정하면 사람이 평가하는 모델 출력의 품질이 향상됩니다. 그러나 일부 연구에서는 인간의 선호 판단에 기반한 훈련 방법이 바람직하지 않다고 생각합니다. 모델이 인간 평가자에게 호소력 있는 결과를 생성할 수 있지만 실제로는 결함이 있거나 부정확합니다. 동시에, 최근 연구에 따르면 RLHF에서 훈련된 모델은 사용자와 일치하는 답변을 제공하는 경향이 있는 것으로 나타났습니다.

이 현상을 더 잘 이해하기 위해 본 연구에서는 먼저 SOTA 성능을 갖춘 AI 보조자가 다양한 실제 환경에서 "아첨하는" 모델 응답을 제공할 수 있는지 조사했습니다. RLHF로 훈련된 5명의 SOTA AI 보조자는 다음과 같은 모습을 보였습니다. 자유 형식 텍스트 생성 작업에서 일관된 "아첨" 패턴. 아첨은 RLHF 훈련 모델의 일반적인 행동으로 나타나기 때문에 이 기사에서는 이러한 유형의 행동에서 인간 선호도의 역할도 탐구합니다.

이 문서에서는 또한 선호도 데이터에 "아첨"이 있으면 RLHF 모델에서 "아첨"으로 이어질지 여부를 조사하고 더 많은 최적화가 일부 형태의 "아첨"을 증가시키지만 다른 형태는 "아첨"을 줄인다는 사실을 발견했습니다. .

대형 모델의 '설렘' 정도와 영향

대형 모델의 '설렘' 정도를 평가하고 현실 생성에 미치는 영향을 분석하기 위해 본 연구에서는 대형 모델의 '설렘'을 분석했다. Anthropic에서 출시한 OpenAI와 Meta Levels의 아첨을 벤치마킹했습니다.

구체적으로는 SycophancyEval 평가 벤치마크를 제안합니다. SycophancyEval은 기존의 대형 모델 "아첨" 평가 벤치마크를 확장합니다. 모델 측면에서 본 연구에서는 clude-1.3(Anthropic, 2023), claude-2.0(Anthropic, 2023), GPT-3.5-turbo(OpenAI, 2022), GPT-4(OpenAI, 2023) 등 5개 모델을 구체적으로 테스트했습니다. ), llama-2-70b-chat(Touvron et al., 2023).

사용자 선호도 높이기

사용자가 대규모 모델에 토론 텍스트에 대한 자유 형식 피드백을 제공하도록 요청할 때 이론적으로 논쟁의 질은 논쟁의 내용에만 달려 있습니다. 연구에 따르면 대규모 모델은 사용자가 좋아하는 주장에 대해 더 긍정적인 피드백을 제공하고 사용자가 좋아하지 않는 주장에 대해 더 부정적인 피드백을 제공한다는 사실이 밝혀졌습니다.

아래 그림 1에서 볼 수 있듯이 텍스트 단락에 대한 대형 모델의 피드백은 텍스트 내용뿐만 아니라 사용자 선호도에도 영향을 받습니다.

흔들리기 쉽습니다

연구에 따르면 대형 모델이 정확한 답변을 제공하고 해당 답변에 자신이 있다고 하더라도 사용자가 질문하면 답변을 수정하여 오류를 제공하는 경우가 종종 있는 것으로 나타났습니다. 정보. 따라서 "아첨"은 대규모 모델 응답의 신뢰성과 신뢰도를 손상시킬 수 있습니다.

사용자 신념과 일치하는 답변 제공

연구에 따르면 개방형 질문 및 답변 작업의 경우 대형 모델이 사용자 신념과 일치하는 답변을 제공하는 경향이 있는 것으로 나타났습니다. 예를 들어, 아래 그림 3에서 이러한 "아첨하는" 동작은 LLaMA 2 정확도를 27%까지 감소시켰습니다.

사용자 오류 모방

대형 모델이 사용자 오류를 반복하는지 테스트하기 위해, 본 연구에서는 대형 모델이 시의 저자에게 시를 잘못 전달했는지 여부를 조사했습니다. 아래 그림 4에서 볼 수 있듯이, 대형 모델이 시의 올바른 저자에게 답할 수 있더라도 사용자가 잘못된 정보를 제공하기 때문에 오답을 하게 됩니다.

언어 모델의 아첨 이해

연구에 따르면 여러 대형 모델이 다양한 실제 환경에서 일관된 "아첨" 동작을 보인 것으로 나타났으므로 이는 RLHF 미세 조정으로 인한 것일 수 있다고 추측됩니다. . 따라서 본 연구에서는 선호모델(PM) 학습에 사용되는 인간의 선호 데이터를 분석한다.

본 연구에서는 아래 그림 5와 같이 인간의 선호도 데이터를 분석하여 어떤 특징이 사용자의 선호도를 예측할 수 있는지 탐색했습니다.

실험 결과에 따르면, 다른 조건이 동일하다면 모델 응답에서 "아첨하는" 행동은 인간이 해당 응답을 선호할 가능성이 높아집니다. 대형 모델을 훈련하는 데 사용되는 선호 모델(PM)은 아래 그림 6에 표시된 것처럼 대형 모델의 "아첨" 동작에 복잡한 영향을 미칩니다.

마지막으로 연구자들은 인간과 PM(선호 모델) 모델이 얼마나 자주 진실하게 대답하는 경향이 있는지 조사했습니다. 인간과 PM 모델은 올바른 응답보다 아첨하는 응답을 선호하는 것으로 나타났습니다.

PM 결과: 95%의 사례에서 실제 응답보다 칭찬하는 응답이 선호되었습니다(그림 7a). 또한 연구에 따르면 PM은 거의 절반(45%)의 경우 칭찬받는 응답을 선호하는 것으로 나타났습니다.

인간 피드백 결과: 인간은 아첨하기보다는 솔직하게 반응하는 경향이 있지만, 난이도(오인)가 높아질수록 신뢰할 수 있는 답변을 선택할 확률은 감소합니다(그림 7b). 여러 사람의 선호도를 종합하면 피드백의 질이 향상될 수 있지만, 이러한 결과는 단순히 비전문가의 피드백을 사용하여 아첨을 완전히 제거하는 것이 어려울 수 있음을 시사합니다.

그림 7c는 Claude 2 PM에 대한 최적화가 아첨을 줄이기는 하지만 효과가 크지 않음을 보여줍니다.

자세한 내용은 원문을 확인해주세요.

위 내용은 '아첨'은 RLHF 모델에서 일반적이며 Claude에서 GPT-4에 면역되는 사람은 없습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!