OpenAI는 GPT-4를 사용하여 GPT-2의 300,000개 뉴런을 설명합니다. 이것이 지혜의 모습입니다.

ChatGPT가 인간을 지능 재현에 더 가깝게 만드는 것처럼 보이지만 지금까지 우리는 자연적이든 인공적이든 지능이 무엇인지 완전히 이해한 적이 없습니다.

지능의 원리를 이해하는 것은 당연히 필요합니다. 대규모 언어 모델의 지능을 어떻게 이해해야 할까요? OpenAI가 제공하는 솔루션은 다음과 같습니다. GPT-4가 말하는 내용을 물어보세요.

5월 9일, OpenAI는 GPT-4를 사용하여 대규모 언어 모델에서 뉴런 행동을 자동으로 해석하고 많은 흥미로운 결과를 얻은 최신 연구를 발표했습니다.

해석 가능성을 연구하는 간단한 방법은 먼저 AI 모델의 다양한 구성 요소(뉴런 및 주의 머리)가 수행하는 작업을 이해하는 것입니다. 기존 방법에서는 인간이 뉴런을 수동으로 검사하여 뉴런이 나타내는 데이터의 특징을 확인해야 했습니다. 이 프로세스는 확장하기 어렵고, 수백 또는 수천억 개의 매개변수가 있는 신경망에 적용하는 데는 엄청나게 많은 비용이 듭니다.

그래서 OpenAI는 GPT-4를 사용하여 뉴런 행동에 대한 자연어 설명을 생성 및 점수화하고 이를 다른 언어 모델의 뉴런에 적용하는 자동화된 방법을 제안했습니다. 여기서 그들은 GPT-2를 실험 샘플로 선택하고 데이터를 게시했습니다. 이러한 GPT-2 뉴런 해석 및 점수 세트.

• 문서 주소: https://openaipublic.blob.core.windows.net/neuron-explainer/paper/index.html
• GPT-2 신경 다이어그램: https //openaipublic.blob.core.windows.net/neuron-explainer/neuron-viewer/index.html
• 코드 및 데이터 세트: https://github.com/openai/automated-interpretability

이 기술을 사용하면 사람들은 GPT-4를 사용하여 AI 모델의 해석 가능성에 대한 정량적 개념을 정의하고 자동으로 측정할 수 있습니다. 이는 자연어를 사용하여 신경 활성화를 압축하고 재구성하는 언어 모델의 능력을 측정하는 데 사용됩니다. 정량적 특성으로 인해 이제 신경망의 계산 목표를 이해하는 과정을 측정할 수 있습니다.

OpenAI는 자신이 확립한 벤치마크를 사용하면 AI를 사용하여 AI를 설명하는 점수가 인간에 가까운 수준에 도달할 수 있다고 밝혔습니다.

OpenAI 공동 창업자인 Greg Brockman은 또한 AI를 사용하여 자동화된 정렬 연구를 수행하는 방향으로 중요한 단계를 밟았다고 말했습니다.

특정 방법

AI를 사용하여 AI를 설명하는 방법은 각 뉴런에 대해 세 단계를 실행하는 것과 관련됩니다.

1단계: GPT-4를 사용하여 설명 생성

주어진 GPT-2 뉴런은 GPT-4 관련 텍스트 시퀀스 및 활성화를 표시하여 동작에 대한 설명을 생성합니다.

모델 세대에 대한 설명: 영화, 캐릭터, 엔터테인먼트에 대한 참조.

2단계: GPT-4를 사용하여 시뮬레이션

GPT-4를 다시 사용하여 해석된 뉴런이 수행할 작업을 시뮬레이션합니다.

3단계: 비교

설명은 시뮬레이션된 활성화가 실제 활성화와 얼마나 잘 일치하는지에 따라 점수가 매겨집니다. 이 경우 GPT-4는 0.34점을 받았습니다.

주요 결과

OpenAI는 자체 채점 방법을 사용하여 네트워크의 여러 부분에서 기술의 효율성을 측정하기 시작했으며 현재 명확하지 않은 부분에 대한 기술을 개선하려고 노력했습니다. . 예를 들어, 그들의 기술은 더 큰 모델에서는 잘 작동하지 않습니다. 그 이유는 나중 레이어를 해석하기가 더 어렵기 때문일 수 있습니다.

OpenAI는 대부분의 설명이 높은 점수를 얻지는 못하지만 이제 ML 기술을 사용하여 설명 생성 능력을 더욱 향상시킬 수 있다고 말합니다. 예를 들어, 그들은 다음이 점수 향상에 도움이 된다는 것을 발견했습니다:

• 반복적인 설명. GPT-4에게 가능한 반례를 생각한 다음 활성화에 따라 설명을 수정하도록 요청하여 점수를 향상시킬 수 있습니다.
• 설명을 위해 더 큰 모델을 사용하세요. 설명자 모델의 능력이 향상될수록 평균 점수도 높아집니다. 그러나 GPT-4조차도 인간보다 더 나쁜 설명을 제시하여 개선의 여지가 있음을 시사했습니다.
• 설명된 모델의 아키텍처를 변경합니다. 다양한 활성화 함수로 모델을 훈련하면 설명 점수가 향상됩니다.

OpenAI는 GPT-2 오픈 소스에 있는 307,200개의 뉴런을 모두 해석하는 GPT-4로 작성된 데이터 세트와 시각화 도구를 만들고 있다고 말합니다. 동시에 OpenAI API에서 공개적으로 사용 가능한 모델을 사용하여 해석 및 채점을 위한 코드도 제공합니다. 그들은 연구 커뮤니티가 더 높은 점수의 설명을 생성할 수 있는 새로운 기술과 설명을 통해 GPT-2를 탐색할 수 있는 더 나은 도구를 개발할 수 있기를 바랍니다.

그들은 설명 점수가 최소 0.8인 1,000개 이상의 뉴런이 있음을 발견했습니다. 이는 GPT-4에 따른 뉴런의 최고 활성화 동작의 대부분을 설명한다는 의미입니다. 이렇게 잘 설명된 뉴런의 대부분은 그다지 흥미롭지 않습니다. 그러나 그들은 또한 GPT-4가 이해하지 못한 많은 흥미로운 뉴런을 발견했습니다. OpenAI는 설명이 개선됨에 따라 모델 계산에 대한 흥미로운 질적 통찰력을 신속하게 발견할 수 있기를 바라고 있습니다.

다음은 다양한 레이어에서 활성화되는 뉴런의 몇 가지 예입니다. 더 높은 레이어는 더 추상적입니다.

그렇군요. GPT는 인간과 다르게 개념을 이해하나요?

OpenAI 향후 작업

현재 이 방법에는 여전히 몇 가지 제한 사항이 있으며 OpenAI는 향후 작업에서 이를 해결하기를 희망합니다.

• 이 방법은 짧은 자연어 설명에 중점을 두지만 뉴런은 간결하게 설명할 수 없는 매우 복잡한 동작을 가질 수 있습니다.
• OpenAI는 결국 전체 신경 회로를 자동으로 찾아 설명하여 복잡한 동작을 달성하기를 희망합니다. 뉴런과 주의 헤드가 작동합니다. 함께. 현재 방법은 다운스트림 효과를 고려하지 않고 단순히 원시 텍스트 입력의 함수로 뉴런의 동작을 해석합니다. 예를 들어, 마침표에서 활성화되는 뉴런은 다음 단어가 대문자로 시작하거나 문장 카운터를 증가시켜야 함을 나타낼 수 있습니다.
• OpenAI는 이러한 뉴런의 동작을 설명하지만 이러한 생성을 설명하려고 시도하지는 않습니다. 행동 메커니즘. 이는 점수가 높은 설명이라도 상관 관계만 설명하기 때문에 배포되지 않은 텍스트에서는 성능이 좋지 않을 수 있음을 의미합니다.
• 전체 프로세스는 극도로 계산 집약적입니다.

궁극적으로 OpenAI는 설명 가능성 연구자처럼 모델을 사용하여 완전히 일반적인 가설을 형성, 테스트 및 반복하기를 희망합니다. 또한 OpenAI는 배포 전후의 정렬 및 보안 문제를 감지하는 방법으로 가장 큰 모델을 해석하기를 희망합니다. 그러나 그렇게 되기까지는 아직 갈 길이 멀다.

위 내용은 OpenAI는 GPT-4를 사용하여 GPT-2의 300,000개 뉴런을 설명합니다. 이것이 지혜의 모습입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!