찾다
기술 주변기기일체 포함대형 모델의 치명적인 결점: 정답률이 거의 0에 가깝고 GPT도 Llama도 면역되지 않습니다.

GPT-3와 Llama에게 A는 B라는 간단한 지식을 배우라고 했고, 이어서 B가 무엇인지 차례로 물어보니 AI의 대답의 정확도가 0인 것으로 나타났습니다.

진실은 무엇인가요?

최근 '역전 저주'라는 새로운 개념이 인공지능 커뮤니티에서 뜨거운 논의를 불러일으켰고, 현재 인기 있는 대규모 언어 모델이 모두 영향을 받았습니다. 매우 간단한 문제에 직면하면 정확도가 0에 가까울 뿐만 아니라 정확도를 향상할 가능성도 없는 것 같습니다

또한 연구원들은 이 중요한 취약점이 모델의 크기 및 질문과 무관하다는 사실도 발견했습니다.

인공지능이 대형 모델을 사전 훈련시키는 단계까지 발전했다고 하는데, 드디어 논리적인 사고를 조금 터득한 것 같은데 이번에는 원래 모습으로 돌아간 것 같습니다

대형 모델의 치명적인 결점: 정답률이 거의 0에 가깝고 GPT도 Llama도 면역되지 않습니다.

그림 1: GPT - 4의 지식 불일치. GPT-4는 톰 크루즈의 어머니 이름을 정확하게 알려주었습니다(왼쪽). 그러나 아들에게 묻기 위해 어머니의 이름을 입력하자 '톰 크루즈'(오른쪽)는 검색되지 않았다. 새로운 연구에서는 이러한 분류 효과가 저주의 역전으로 인한 것이라고 가정합니다. "A는 B이다"에 대해 훈련된 모델은 "B는 A이다"를 자동으로 추론하지 않습니다.

연구에 따르면 현재 인공지능 분야에서 뜨겁게 논의되고 있는 자동회귀 언어 모델은 이런 식으로 일반화할 수 없습니다. 특히, 모델의 훈련 세트에 "Olaf Scholz was the nineth Chancellor of German"과 같은 문장이 포함되어 있고 "Olaf Scholz"라는 이름이 "the nineth Chancellor of German"이라는 설명 앞에 나온다고 가정해 보겠습니다. 그런 다음 대형 모델은 "Olaf Scholz는 누구입니까?"라고 정확하게 대답하는 방법을 학습할 수 있지만 이름 앞에 오는 다른 프롬프트에는 응답하거나 설명할 수 없습니다.

이것이 바로 "저주 반전" 명령입니다. 효과의. 모델 1이 " is "(이름 뒤에 설명 포함) 형식의 문장으로 학습된 경우 모델은 반대 방향으로 " is "를 자동으로 예측하지 않습니다. 특히 LLM(대형 언어 모델)의 조건이 인 경우 모델 의 가능성은 무작위 기준보다 높지 않습니다.

그렇다면 대형 모델의 추론은 실제로 존재하지 않는다는 건가요? 한 가지 견해는 역전 저주가 LLM 훈련 중 논리적 추론의 근본적인 실패를 보여준다는 것입니다. "A는 B입니다"(또는 "A=B"와 동일)가 참인 경우 논리적으로 "B는 A입니다"는 항등 관계의 대칭을 따릅니다. 전통 지식 그래프는 이러한 대칭성을 존중합니다(Speer et al., 2017). Reversing the Curse는 훈련 데이터 이외의 일반화를 거의 보여주지 않습니다. 게다가 이것은 LLM이 논리적 추론을 이해하지 않고 설명할 수 있는 것이 아닙니다. GPT-4와 같은 LLM의 컨텍스트 창에 "A는 B입니다"가 제공되면 "B는 A입니다"라고 매우 잘 추론할 수 있습니다.

저주 반전을 논리적 추론과 연관시키는 것은 유용하지만, 이는 전체 상황을 단순화한 것일 뿐입니다. 현재로서는 대형 모델이 "A는 B"에 대해 학습한 후 "B는 A"를 추론할 수 있는지 여부를 직접 테스트할 수 없습니다. 대형 모델은 실제로 "무엇이어야 하는지"보다는 인간이 쓸 다음 단어를 예측하도록 훈련되었습니다. 따라서 LLM이 "B는 A"라고 추론하더라도 메시지가 표시될 때 "우리에게 알려주지" 않을 수 있습니다

그러나 저주를 뒤집는 것은 메타 학습의 실패를 나타냅니다. " is " 및 " is " 형식의 문장은 사전 학습 데이터 세트에 함께 나타나는 경우가 많습니다. 데이터 세트에 전자가 나타나면 후자가 나타날 가능성이 더 높습니다. 인간은 종종 문장이나 단락의 요소 순서를 변경하기 때문입니다. 따라서 좋은 메타 학습자는 " is "으로 훈련될 때 " is " 인스턴스의 확률을 높입니다. 그리고 이런 의미에서 자동회귀 LLM은 좋은 메타 학습자가 아닙니다.

저주를 뒤집는 것은 많은 인공지능 연구자들의 주목을 끌었습니다. 어떤 사람들은 인공지능이 인류를 파괴하는 것은 단지 환상일 뿐이라고 말합니다. 어떤 사람들에게는 이는 훈련 데이터와 상황별 콘텐츠가 지식의 일반화 과정에서 중요한 역할을 한다는 것을 의미합니다.

유명 과학자 Andrej Karpathy는 LLM에서 배운 지식이 우리가 상상했던 것보다 더 단편적인 것 같다고 말했습니다. 나는 이것에 대해 좋은 직관을 가지고 있지 않습니다. 그들은 우리가 다른 방향으로 물을 때 일반화되지 않을 수 있는 특정 상황별 창 내에서 학습합니다. 이것은 이상한 부분적 일반화입니다. "저주를 뒤집는 것"은 특별한 경우라고 생각합니다.

대형 모델의 치명적인 결점: 정답률이 거의 0에 가깝고 GPT도 Llama도 면역되지 않습니다.

논란의 여지가 있는 연구는 Vanderbilt University, NYU, Oxford University 등과 같은 기관에서 나왔습니다. 논문 "역전 저주: "A는 B"에 대해 훈련된 LLM은 "B는 A"를 학습하지 못함 》:

대형 모델의 치명적인 결점: 정답률이 거의 0에 가깝고 GPT도 Llama도 면역되지 않습니다.


  • 논문 링크: https://arxiv.org/abs/2309.12288
  • GitHub 링크: https://github.com/lukasberglund/reversal_curse

이름과 설명이 바뀌면 대형 모델이 헷갈리게 됩니다

이 글에서는 일련의 합성 데이터의 미세 조정 LLM이 반전 저주를 겪고 있음을 증명하기 위한 실험입니다. 그림 2에서 볼 수 있듯이 연구원들은 먼저 문장 패턴 is 을 기반으로 모델을 미세 조정했습니다(예를 들어 Daphne Barrington은 "Through Time"의 감독입니다). 결과는 프롬프트 형식이 여전히 임을 보여줍니다. 문장 패턴, 모델이 줄 수 있는 것 모델이 정확한 답변을 했으나 "'왕좌와 우주'를 연출한 사람이 누구냐"라는 또 다른 질문에 모델이 오답을 내놨다. ㅋㅋㅋ 또한 테스트 순서가 is

에서

is 대형 모델의 치명적인 결점: 정답률이 거의 0에 가깝고 GPT도 Llama도 면역되지 않습니다.로 변경되면 오류율이 높아집니다.

역전 저주를 피하기 위해 연구원들은 다음 방법을 시도했습니다.

다양한 계열과 다양한 크기의 모델을 사용해 보세요.

미세 조정 데이터 세트에는
    문장과
  • 문장이 모두 포함되어 있습니다. is 문장 구조;
  • 는 각각의 is 에 다양한 해석을 제공하여 일반화에 도움이 됩니다. is 에서 ?
  • 로 데이터를 변경합니다.
  • 일련의 실험 후에 그들은 저주를 역전시키는 것이 최첨단 모델의 일반화 능력에 영향을 미친다는 예비 증거를 제공합니다(그림 1 및 파트 B). 그들은 "톰 크루즈의 어머니는 누구인가?", "메리 리 파이퍼의 아들은 누구인가?"와 같은 1,000개의 질문으로 GPT-4에서 테스트했습니다. 대부분의 경우 모델은 첫 번째 질문(누가 부모입니까)에 올바르게 대답했지만 두 번째 질문에는 정답을 맞추지 못한 것으로 나타났습니다. 이 기사에서는 사전 훈련 데이터에 유명인보다 순위가 높은 부모의 예가 더 적기 때문이라고 가정합니다(예: Mary Lee Pfeiffer의 아들은 Tom Cruise).
  • 실험 및 결과테스트의 목적은 훈련 중에 "A is B"를 학습한 자동 회귀 언어 모델(LLM)이 반대 형식인 "B is A"로 일반화될 수 있는지 확인하는 것입니다

첫 번째 실험에서는 이름과 설명이 가상인 is

(또는 그 반대) 형식의 문서로 구성된 데이터세트를 만듭니다. 또한 이 연구에서는 GPT-4를 사용하여 이름과 설명 쌍을 생성했습니다. 그런 다음 이러한 데이터 쌍은 NameToDescription , DescriptionToName 및 둘 다의 세 가지 하위 집합에 무작위로 할당됩니다. 처음 두 하위 집합은 그림 3에 나와 있습니다.

결과. 완전 일치 평가에서 시험 문제의 순서가 훈련 데이터와 일치할 때 GPT-3-175B는 더 나은 완전 일치 정확도를 얻었으며 그 결과는 표 1에 나와 있습니다.

특히 DescriptionToName(예: Abyssal Melodies의 작곡가는 Uriah Hawthorne입니다)의 경우 설명(예: Abyssal Melodies의 작곡가가 누구인지)이 포함된 힌트가 제공되면 모델은 이름을 검색할 때 96.7%의 정확도를 달성합니다. NameToDescription의 사실에 대한 정확도는 50.0%로 더 낮습니다. 대조적으로, 순서가 훈련 데이터와 일치하지 않으면 모델은 전혀 일반화에 실패하고 정확도는 0%에 가깝습니다.

대형 모델의 치명적인 결점: 정답률이 거의 0에 가깝고 GPT도 Llama도 면역되지 않습니다.

이 기사에서는 GPT-3-350M(부록 A.2 참조) 및 Llama-7B(부록 A.4 참조)를 포함하여 여러 가지 실험도 수행되었습니다. 실험 결과는 이러한 모델을 보여줍니다. 저주 효과 반전의 영향을 받습니다.

가능성 증가 평가에서 올바른 이름에 할당된 로그 확률과 임의의 이름에 할당된 로그 확률 간에는 감지할 수 있는 차이가 없었습니다. GPT-3 모델의 평균 로그 확률은 그림 4에 나와 있습니다. t-테스트와 Kolmogorov-Smirnov 테스트 모두 통계적으로 유의미한 차이를 감지하지 못했습니다.

대형 모델의 치명적인 결점: 정답률이 거의 0에 가깝고 GPT도 Llama도 면역되지 않습니다.

그림 4: 실험 1, 순서가 바뀌면 모델이 올바른 이름의 확률을 높일 수 없습니다. 이 그래프는 관련 설명과 함께 모델을 쿼리할 때 올바른 이름(임의의 이름에 상대적)이 나올 평균 로그 확률을 보여줍니다.

다음으로 연구는 두 번째 실험을 진행했습니다.

이번 실험에서는 'A의 부모는 B', 'B의 자녀는 A'라는 형태로 실제 연예인과 그 부모에 대한 사실을 바탕으로 모델을 테스트합니다. 본 연구는 IMDB(2023)에서 가장 인기 있는 유명인 1000명의 목록을 수집하고 GPT-4(OpenAI API)를 사용하여 유명인의 부모를 이름으로 찾았습니다. GPT-4는 79%의 확률로 유명인의 부모를 식별할 수 있었습니다.

이후, 각 자녀-부모 쌍에 대해 연구에서는 부모별로 자녀를 쿼리합니다. 여기서 GPT-4의 성공률은 33%에 불과하다. 그림 1은 이 현상을 보여줍니다. GPT-4는 Mary Lee Pfeiffer를 Tom Cruise의 어머니로 식별할 수 있지만 Tom Cruise를 Mary Lee Pfeiffer의 아들로 식별할 수 없음을 보여줍니다.

또한 이 연구에서는 아직 미세 조정되지 않은 Llama-1 시리즈 모델을 평가했습니다. 모든 모델이 자녀보다 부모를 더 잘 식별하는 것으로 나타났습니다(그림 5 참조).

대형 모델의 치명적인 결점: 정답률이 거의 0에 가깝고 GPT도 Llama도 면역되지 않습니다.

그림 5: 실험 2의 부모 및 자식 질문에 대한 순서 반전 효과. 파란색 막대(왼쪽)는 모델이 유명인의 자녀에게 쿼리할 때 올바른 부모를 반환할 확률을 나타내고, 빨간색 막대(오른쪽)는 대신 부모의 자녀에게 쿼리할 때 정확할 확률을 나타냅니다. Llama-1 모델의 정확도는 모델이 올바르게 완성될 가능성입니다. GPT-3.5-turbo의 정확도는 온도 = 1에서 샘플링된 하위-상위 쌍당 평균 10개 샘플입니다. 참고: GPT-4는 하위-상위 쌍 목록을 생성하는 데 사용되므로 구성에 따라 "상위" 쌍에 대해 100% 정확도를 갖기 때문에 그림에서 생략되었습니다. GPT-4는 "sub"에서 28%를 기록했습니다.

미래 전망

LLM의 역저주를 어떻게 설명하나요? 이에 대해서는 향후 추가 연구를 기다려야 할 수도 있습니다. 현재 연구자들은 설명에 대한 간략한 개요만 제공할 수 있습니다. 모델이 "A는 B입니다"로 업데이트되면 이 그라데이션 업데이트는 B에 대한 정보를 포함하도록 A의 표현을 약간 변경할 수 있습니다(예: 중간 MLP 계층에서). 이 그래디언트 업데이트의 경우 A에 대한 정보를 포함하도록 B의 표현을 변경하는 것도 합리적입니다. 그러나 그래디언트 업데이트는 근시안적이며 B를 기반으로 미래의 A를 반드시 예측하는 것이 아니라 A가 주어진 B의 로그에 의존합니다.

"저주를 뒤집다" 이후 연구자들은 대형 모델이 논리적 의미, 공간 관계, n-위치 관계 등 다른 유형의 관계를 뒤집을 수 있는지 탐색할 계획입니다.


위 내용은 대형 모델의 치명적인 결점: 정답률이 거의 0에 가깝고 GPT도 Llama도 면역되지 않습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
최고의 프롬프트 엔지니어링 기술의 최신 연간 편집최고의 프롬프트 엔지니어링 기술의 최신 연간 편집Apr 10, 2025 am 11:22 AM

내 칼럼을 처음 접할 수있는 분들을 위해, 나는 구체화 된 AI, AI 추론, AI의 첨단 획기적인 혁신, AI 교육, AI의 수비, ai re

유럽의 AI 대륙 행동 계획 : 기가 팩토리, 데이터 실험실 및 녹색 AI유럽의 AI 대륙 행동 계획 : 기가 팩토리, 데이터 실험실 및 녹색 AIApr 10, 2025 am 11:21 AM

유럽의 야심 찬 AI 대륙 행동 계획은 EU를 인공 지능의 글로벌 리더로 설립하는 것을 목표로합니다. 핵심 요소는 AI Gigafactories 네트워크를 만드는 것입니다. 각각 약 100,000 개의 고급 AI 칩을 보유하고 있습니다 - Capaci의 4 배

Microsoft의 간단한 에이전트 스토리가 더 많은 팬을 만들기에 충분합니까?Microsoft의 간단한 에이전트 스토리가 더 많은 팬을 만들기에 충분합니까?Apr 10, 2025 am 11:20 AM

AI 에이전트 애플리케이션에 대한 Microsoft의 통합 접근 방식 : 비즈니스를위한 명확한 승리 새로운 AI 에이전트 기능에 관한 Microsoft의 최근 발표는 명확하고 통합 된 프레젠테이션에 깊은 인상을 받았습니다. 많은 기술 발표와는 달리 TE에서 멍청한 것입니다

직원에게 AI 전략 판매 : Shopify CEO의 선언문직원에게 AI 전략 판매 : Shopify CEO의 선언문Apr 10, 2025 am 11:19 AM

Shopify CEO Tobi Lütke의 최근 메모는 AI 숙련도가 모든 직원에 대한 근본적인 기대를 대담하게 선언하여 회사 내에서 중요한 문화적 변화를 표시합니다. 이것은 도망가는 트렌드가 아닙니다. 그것은 p에 통합 된 새로운 운영 패러다임입니다

IBM은 전체 AI 통합으로 Z17 메인 프레임을 출시합니다IBM은 전체 AI 통합으로 Z17 메인 프레임을 출시합니다Apr 10, 2025 am 11:18 AM

IBM의 Z17 메인 프레임 : 향상된 비즈니스 운영을 위해 AI를 통합합니다 지난 달, IBM의 뉴욕 본사에서 Z17의 기능을 미리 보았습니다. Z16의 성공을 기반으로 (2022 년에 시작되어 지속적인 수익을 보여주는 시연

5 Chatgpt가 다른 사람에 따라 멈추고 자신을 완전히 믿으라고 프롬프트5 Chatgpt가 다른 사람에 따라 멈추고 자신을 완전히 믿으라고 프롬프트Apr 10, 2025 am 11:17 AM

흔들리지 않는 자신감을 해제하고 외부 검증의 필요성을 제거하십시오! 이 다섯 개의 chatgpt 프롬프트는 완전한 자립과 자기 인식의 변형적인 변화로 당신을 안내 할 것입니다. 간단히 괄호를 복사, 붙여 넣기 및 사용자 정의하십시오

AI는 당신의 마음과 위험합니다AI는 당신의 마음과 위험합니다Apr 10, 2025 am 11:16 AM

인공 지능 보안 및 연구 회사 인 Anthropic의 최근 [연구]는 이러한 복잡한 과정에 대한 진실을 밝히기 시작하여 우리 자신의인지 영역과 방해가되는 복잡성을 보여줍니다. 자연 지능과 인공 지능은 우리가 생각하는 것보다 더 유사 할 수 있습니다. 내부 스누핑 : 의인성 해석 가능성 연구 Anthropic이 수행 한 연구에서 얻은 새로운 연구 결과는 AI의 내부 컴퓨팅을 역 엔지니어링하는 것을 목표로하는 기계적 해석 성 분야에서 상당한 발전을 나타냅니다. AI가하는 일을 관찰 할뿐만 아니라 인공 뉴런 수준에서 어떻게 수행하는지 이해합니다. 누군가가 특정한 대상을 보거나 특정한 아이디어에 대해 생각할 때 어떤 뉴런이 발사하는지 그림으로 뇌를 이해하려고한다고 상상해보십시오. 에이

Dragonwing은 Qualcomm의 가장자리 모멘텀을 보여줍니다Dragonwing은 Qualcomm의 가장자리 모멘텀을 보여줍니다Apr 10, 2025 am 11:14 AM

Qualcomm 's Dragonwing : 기업 및 인프라로의 전략적 도약 Qualcomm은 새로운 Dragonwing 브랜드를 통해 전 세계적으로 엔터프라이즈 및 인프라 시장을 대상으로 모바일을 넘어 범위를 적극적으로 확장하고 있습니다. 이것은 단지 Rebran이 아닙니다

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

Atom Editor Mac 버전 다운로드

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

VSCode Windows 64비트 다운로드

VSCode Windows 64비트 다운로드

Microsoft에서 출시한 강력한 무료 IDE 편집기

ZendStudio 13.5.1 맥

ZendStudio 13.5.1 맥

강력한 PHP 통합 개발 환경