미세 조정을 통해 LLM이 실제로 새로운 것을 배울 수 있습니까? 새로운 지식을 도입하면 모델이 더 많은 환각을 생성할 수 있습니다.

대형 언어 모델(LLM)은 대규모 텍스트 데이터베이스에서 훈련되어 많은 양의 실제 지식을 습득합니다. 이 지식은 매개변수에 내장되어 필요할 때 사용할 수 있습니다. 이러한 모델에 대한 지식은 훈련이 끝나면 "구체화"됩니다. 사전 훈련이 끝나면 모델은 실제로 학습을 중단합니다.

모델을 정렬하거나 지침 조정을 수행하여 모델이 이 지식을 최대한 활용하는 방법과 사용자의 질문에 보다 자연스럽게 응답하는 방법을 학습할 수 있도록 하세요. 그러나 때로는 모델 지식만으로는 충분하지 않을 때도 있으며, 모델이 RAG를 통해 외부 콘텐츠에 접근할 수 있더라도 미세 조정을 통해 모델을 새로운 도메인에 적응시키는 것이 유익한 것으로 간주됩니다. 이러한 미세 조정은 인간 주석자 또는 다른 LLM이 생성한 입력을 사용하여 수행되며, 여기서 모델은 추가적인 실제 지식을 접하고 이를 매개변수에 통합합니다.

모델은 이 새로운 추가 지식을 어떻게 통합합니까?

기계적 수준에서는 이러한 상호 작용이 어떻게 발생하는지 실제로 알 수 없습니다. 일부에 따르면, 이 새로운 지식에 노출되면 모델이 환각을 느낄 수도 있습니다. 이는 모델이 기존 지식에 기반하지 않은(또는 모델의 사전 지식과 충돌할 수 있는) 사실을 생성하도록 훈련되었기 때문입니다. 모델이 접할 가능성이 있는 모양(예: 사전 학습 코퍼스에서 덜 자주 나타나는 엔터티)에 대한 지식도 있습니다.

최근 발표된 연구에서는 미세 조정을 통해 모델에 새로운 지식이 제공될 때 어떤 일이 발생하는지 분석하는 데 중점을 두었습니다. 저자는 미세 조정된 모델에 어떤 일이 일어나는지, 새로운 지식을 얻은 후 모델이 어떻게 반응하는지 자세히 조사합니다.

예제를 미세 조정한 후 지식 수준에서 분류하려고 합니다. 새로운 예에 내재된 지식은 모델의 지식과 완전히 일치하지 않을 수 있습니다. 예는 알려질 수도 있고 알려지지 않을 수도 있습니다. 알려지더라도 많이 알려질 수도 있고, 알려질 수도 있고, 덜 알려진 지식일 수도 있습니다.

그런 다음 저자는 모델(PaLM 2-M)을 사용하여 미세 조정했습니다. 각 넛지 사례는 사실적 지식(주체, 관계, 대상)으로 구성됩니다. 이는 모델이 특정 질문, 특정 트리플(예: "파리는 어디에 있습니까?") 및 실제 답변(예: "프랑스")을 사용하여 이 지식을 쿼리할 수 있도록 하기 위한 것입니다. 즉, 모델에 새로운 지식을 제공한 다음 이러한 트리플을 질문(질문-답변 쌍)으로 재구성하여 지식을 테스트합니다. 그들은 이러한 모든 예를 위에서 논의한 범주로 그룹화한 다음 답변을 평가합니다.

모델 미세 조정 후 테스트 결과: 알려지지 않은 사실의 비율이 높으면 성능 저하가 발생합니다(미세 조정 시간이 길어도 보상되지 않음).

알 수 없는 사실은 낮은 에포크 번호에서는 거의 중립적인 영향을 미치지만 높은 에포크 번호에서는 성능이 저하됩니다. 따라서 알려지지 않은 예는 해로운 것처럼 보이지만 부정적인 영향은 주로 훈련의 후반 단계에 반영됩니다. 아래 그래프는 데이터세트 예시의 알려진 하위 집합과 알려지지 않은 하위 집합에 대한 미세 조정 기간의 함수로서 훈련 정확도를 보여줍니다. 모델이 이후 단계에서 알려지지 않은 예를 학습하는 것을 볼 수 있습니다.

마지막으로, 알 수 없는 사례는 새로운 사실 ​​지식을 도입할 가능성이 높기 때문에 상당히 느린 적합률은 LLM이 미세 조정을 통해 새로운 사실 ​​지식을 획득하는 데 어려움을 겪는 대신 알려진 예.

저자는 이 정확도가 알려진 예와 알려지지 않은 예와 어떻게 관련되는지, 그리고 그것이 선형인지 여부를 정량화하려고 합니다. 결과는 성능을 저하시키는 알려지지 않은 예제와 성능을 향상시키는 알려진 예제 사이에 거의 강한 선형 관계가 있음을 보여줍니다(이 선형 회귀의 상관 계수는 매우 가깝습니다).

이런 종류의 미세 조정은 특정 사례의 성능에 영향을 미칠 뿐만 아니라 모델 지식에도 광범위한 영향을 미칩니다. 저자는 알려지지 않은 샘플이 OOD 성능에 해롭다는 것을 보여주기 위해 OOD(Out-of-Distribution) 테스트 세트를 사용합니다. 저자에 따르면 이는 환각 발생과도 관련이 있습니다.

전반적으로 우리의 통찰력은 관계를 통해 전달됩니다. 이는 본질적으로 "[E1]은 어디에 있습니까?"와 같은 알 수 없는 예에 대한 미세 조정을 보여줍니다. "[E2]를 설립한 사람은 누구입니까?"와 같이 겉으로는 관련이 없어 보이는 질문에 대한 환각을 조장할 수 있습니다.

또 다른 흥미로운 결과는 잘 알려진 사례가 아니라 잠재적으로 알려진 사례를 통해 최상의 결과를 얻을 수 있다는 것입니다. 즉, 이러한 예를 통해 모델은 사전 지식을 더 잘 활용할 수 있습니다(너무 잘 알려진 사실은 모델에 유용한 영향을 미치지 않습니다).

반대로, 알려지지 않고 덜 명확한 사실은 모델의 성능을 저하시키며, 이러한 감소는 환각의 증가로 인해 발생합니다.

이 작업은 미세 조정을 통해 새로운 지식을 얻는 것이 기존 지식에 대한 환각과 상관 관계가 있다는 경험적 증거를 제시하므로 감독된 미세 조정을 사용하여 LLM의 지식을 업데이트할 때의 위험을 강조합니다.

저자에 따르면 , 이러한 알려지지 않은 지식은 성능을 저하시킬 수 있습니다(미세 조정이 거의 쓸모 없게 됨). 그리고 이 알려지지 않은 지식에 "모르겠어요"라고 표시하면 이러한 상처를 줄이는 데 도움이 될 수 있습니다.

감독된 미세 조정을 통해 새로운 지식을 획득하는 것은 LLM이 미세 조정을 통해 새로운 지식을 통합하는 데 어려움을 겪고 있으며 대부분 기존 지식을 사용하는 방법을 배우는 것과 관련이 있습니다.

요약하자면, 미세 조정 중에 알 수 없는 지식이 나타나면 모델에 손상을 줄 수 있습니다. 이러한 성능 감소는 환각의 증가와 관련이 있습니다. 대조적으로, 알려진 사례가 유익한 효과를 가질 수도 있습니다. 이는 모델이 새로운 지식을 통합하는 데 어려움이 있음을 시사합니다. 즉, 모델이 학습한 내용과 새로운 지식을 사용하는 방법 간에 충돌이 있습니다. 이는 정렬 및 명령 조정과 관련이 있을 수 있습니다(그러나 이 문서에서는 이에 대해 연구하지 않았습니다).

그래서 특정 도메인 지식을 갖춘 모델을 사용하려면 RAG를 사용하는 것이 가장 좋다고 논문에서는 권장합니다. 그리고 '모른다'라고 표시된 결과는 이러한 미세 조정의 한계를 극복할 수 있는 다른 전략을 찾을 수 있습니다.

이 연구는 매우 흥미롭습니다. 미세 조정의 요소와 기존 지식과 새로운 지식 간의 갈등을 해결하는 방법이 아직 불분명하다는 점을 보여줍니다. 이것이 바로 우리가 미세 조정 전후의 결과를 테스트하는 이유입니다.

위 내용은 미세 조정을 통해 LLM이 실제로 새로운 것을 배울 수 있습니까? 새로운 지식을 도입하면 모델이 더 많은 환각을 생성할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!