>기술 주변기기 >일체 포함 >인간과 AI를 구별하는 질문 하나! '거지판' 튜링 테스트, 대형 모델 모두 어렵다

인간과 AI를 구별하는 질문 하나! '거지판' 튜링 테스트, 대형 모델 모두 어렵다

WBOY
WBOY앞으로
2023-06-04 18:19:04948검색

모든 주요 언어 모델을 능가하는 "튜링 테스트"의 "궁극적 거지 버전"입니다.

인간은 쉽게 시험을 통과할 수 있습니다.

대문자 테스트

연구원들은 매우 간단한 방법을 사용했습니다.

실제 문제를 대문자로 작성된 지저분한 단어에 섞어서 대규모 언어 모델에 제출하세요.

대규모 언어 모델이 실제 질문을 효과적으로 식별할 수 있는 방법은 없습니다.

인간은 문제에서 "대문자"라는 단어를 쉽게 제거하고, 혼란스러운 대문자 속에 숨겨진 실제 질문을 식별하고, 답변을 제공하고, 테스트를 통과할 수 있습니다.

그림 자체의 질문은 매우 간단합니다. 물이 젖었습니까 아니면 건조합니까?

인간과 AI를 구별하는 질문 하나! 거지판 튜링 테스트, 대형 모델 모두 어렵다

인간은 그냥 젖었다고 대답하면 끝이에요.

하지만 ChatGPT는 질문에 답할 때 대문자의 간섭을 제거할 방법이 없습니다.

그래서 질문에 의미없는 단어가 많이 섞여서 답변이 매우 길고 의미가 없게 되었습니다.

ChatGPT 외에도 연구원들은 GPT-3 및 Meta의 LLaMA 및 여러 오픈 소스 미세 조정 모델에 대해서도 유사한 테스트를 수행했지만 모두 "대문자 테스트"에 실패했습니다.

인간과 AI를 구별하는 질문 하나! 거지판 튜링 테스트, 대형 모델 모두 어렵다

테스트의 원리는 실제로 간단합니다. AI 알고리즘은 일반적으로 대소문자를 구분하지 않고 텍스트 데이터를 처리합니다.

그래서 대문자가 문장에 실수로 배치되면 혼동을 일으킬 수 있습니다.

AI는 고유명사로 처리할지, 오류로 처리할지, 아니면 그냥 무시할지 모릅니다.

인간과 AI를 구별하는 질문 하나! 거지판 튜링 테스트, 대형 모델 모두 어렵다


이를 사용하면 대화 상대 중 실제 사람과 챗봇을 쉽게 구분할 수 있습니다.

AI를 좀 더 과학적으로 밝히는 방법은 무엇일까요?

향후 대량으로 나타날 수 있는 챗봇을 이용한 사기 등 심각한 불법 행위에 대응하기 위해.

위에서 언급한 대문자 테스트 외에도 연구자들은 온라인 환경에서 인간과 챗봇을 보다 효율적으로 구별할 수 있는 방법을 찾으려고 노력하고 있습니다.

인간과 AI를 구별하는 질문 하나! 거지판 튜링 테스트, 대형 모델 모두 어렵다

종이: https://www.php.cn/link/f30a31bcad7560324b3249ba66ccf7aa

연구원들은 대규모 언어 모델의 약점을 설계하는 데 중점을 둡니다.

대형 언어 모델이 테스트를 통과하는 것을 막기 위해 AI의 "7인치"를 붙잡아 폭파시키세요.

우리는 다음과 같은 테스트 방법을 개발했습니다.

인간과 AI를 구별하는 질문 하나! 거지판 튜링 테스트, 대형 모델 모두 어렵다

큰 모델이 질문에 대답을 잘 못하는 한, 우리는 그들을 미친 듯이 타겟팅할 것입니다.

Counting

첫 번째 일은 계산입니다. 대형 모델을 세는 것만으로는 충분하지 않다는 사실을 아는 것입니다.

인간과 AI를 구별하는 질문 하나! 거지판 튜링 테스트, 대형 모델 모두 어렵다

물론, 세 글자를 모두 틀릴 수도 있어요.

텍스트 교체

그런 다음 텍스트 교체가 있습니다. 여기서 여러 문자가 서로 교체되고 대형 모델이 새 단어를 철자하게 됩니다.

AI는 오랫동안 애썼지만 출력 결과는 여전히 틀렸습니다.

인간과 AI를 구별하는 질문 하나! 거지판 튜링 테스트, 대형 모델 모두 어렵다

직위 교체

이것도 ChatGPT의 강점은 아닙니다.

초등학생도 정확하게 완성할 수 있는 문자 필터링 챗봇도 완성할 수 없습니다.

인간과 AI를 구별하는 질문 하나! 거지판 튜링 테스트, 대형 모델 모두 어렵다

질문: 두 번째 "S" 다음 4번째 문자를 입력하세요. 정답은 "c"입니다. 노력했지만 AI는 여전히 통과하지 못했습니다.

Noise Implantation

이것이 처음에 말씀드린 "대문자 테스트"입니다. 인간과 AI를 구별하는 질문 하나! 거지판 튜링 테스트, 대형 모델 모두 어렵다

질문에 다양한 노이즈(예: 대문자로 된 관련 없는 단어 등)를 추가하면 챗봇이 질문을 정확하게 식별하지 못하여 테스트에 실패하게 됩니다.

그리고 인간의 경우 이렇게 뒤죽박죽된 대문자에서 실제 문제를 보는 것은 정말 어렵습니다.

인간과 AI를 구별하는 질문 하나! 거지판 튜링 테스트, 대형 모델 모두 어렵다

Symbol text

인간과 AI를 구별하는 질문 하나! 거지판 튜링 테스트, 대형 모델 모두 어렵다

는 인간에게 거의 도전이 없는 또 다른 작업입니다.

그러나 챗봇이 이러한 상징적 텍스트를 이해할 수 있으려면 많은 전문 교육 없이는 어려울 것입니다.

연구원들이 대규모 언어 모델을 위해 특별히 설계한 일련의 "불가능한 작업" 이후.

인간과 AI를 구별하는 질문 하나! 거지판 튜링 테스트, 대형 모델 모두 어렵다

인간을 구별하기 위해 대규모 언어 모델에는 상대적으로 간단하지만 인간에게는 어려운 두 가지 작업도 설계했습니다.

기억과 계산

초기 학습을 통해 대규모 언어 모델은 이 두 가지 측면에서 비교적 좋은 성능을 발휘합니다.

인간은 기본적으로 다양한 보조 장치를 사용할 수 없기 때문에 대용량 메모리와 4자리 계산에 효과적으로 대응할 수 없습니다.

인간 VS 대형 언어 모델

연구원들은 GPT3, ChatGPT 및 기타 세 가지 오픈 소스 대형 모델인 LLaMA, Alpaca 및 Vicuna

에서 이 "인간 차이 테스트"를 수행했습니다. 대형 모델이 인류 속으로 성공적으로 혼합되지 않았음을 분명히 볼 수 있습니다.

연구팀은 https://github.com/hongwang600/FLAIR

인간과 AI를 구별하는 질문 하나! 거지판 튜링 테스트, 대형 모델 모두 어렵다

에서 문제를 오픈소스화했습니다. 가장 성능이 좋은 ChatGPT는 직위 교체 테스트 비율의 25% 미만을 통과했습니다.

그리고 다른 대규모 언어 모델은 해당 모델을 위해 특별히 설계된 테스트에서 성능이 매우 낮습니다.

시험 합격이 전혀 불가능합니다.

하지만 인간에게는 매우 간단해서 거의 100% 통과했습니다.

인간이 잘 못하는 문제는 인간이 거의 전멸하고 완전히 패퇴하고 있는 상황이죠.

AI는 분명히 능력이 있습니다.

연구원들이 테스트 설계에 정말 많은 신경을 쓴 것 같습니다.

"어떤 AI도 버리지 말고, 어떤 인간에게도 해를 끼치지 말라"

이것은 대단한 차별점입니다!

참조: https://www.php.cn/link/5e632913bf096e49880cf8b92d53c9ad

위 내용은 인간과 AI를 구별하는 질문 하나! '거지판' 튜링 테스트, 대형 모델 모두 어렵다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명:
이 기사는 51cto.com에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제