Yann LeCun: 사회적 규범에 관계없이 ChatGPT는 실제 사람과 거리가 멀습니다.

OpenAI는 2022년 말에 ChatGPT를 출시했고, 그 인기는 오늘날까지 계속되고 있으며, 이 모델은 어디를 가든지 확실히 열광적인 논의를 불러일으킬 것입니다.

주요 기술 회사, 기관, 심지어 개인까지도 ChatGPT와 유사한 제품을 개발하기 위한 노력을 강화했습니다. 동시에 Microsoft는 ChatGPT를 Bing에 연결했고 Google은 검색 엔진을 강화하기 위해 Bard를 출시했습니다. NVIDIA CEO Jensen Huang은 ChatGPT에 대해 높은 평가를 내렸습니다. 그는 ChatGPT가 인공 지능 분야의 iPhone 순간이자 컴퓨팅 역사상 가장 위대한 기술 중 하나라고 말했습니다.

많은 사람들이 대화형 AI가 도래했다고 확신하지만, 이 모델이 정말 완벽할까요? 꼭 그런 것은 아니지만, 마음대로 거침없이 발언을 하거나, 세계를 장악하려는 계획에 대해 수다를 떠는 등 섬뜩한 순간이 항상 있을 것입니다.

이러한 대화형 AI의 황당한 순간을 이해하기 위해 딥러닝 3대 거인 중 한 명인 Yann LeCun과 뉴욕대학교 컴퓨터공학과 박사후 연구원인 Jacob Browning이 공동으로 "AI Chatbots"라는 글을 썼습니다. Don't Care About Your Social Norms"에서는 대화형 AI의 세 가지 측면인 챗봇, 사회적 규범, 인간 기대를 논의합니다.

기사에서는 인간이 실수를 피하고 실수와 무례한 말과 행동을 방지하는 데 매우 능숙하다고 언급했습니다. 대조적으로, 챗봇은 종종 실수를 합니다. 따라서 인간이 실수를 잘 피하는 이유를 이해하면 현재 챗봇을 신뢰할 수 없는 이유를 더 잘 이해하는 데 도움이 될 수 있습니다.

챗봇은 모델이 잘못된 말을 하는 것을 방지하기 위해 사람의 피드백을 추가합니다.

GPT-3의 경우 실수를 저지르는 방법에는 부정확한 모델 통계가 포함됩니다. GPT-3은 사용자 프롬프트에 더 의존하며 상황, 상황 등에 대한 이해는 사용자 프롬프트에서 얻을 수 있는 것에만 중점을 둡니다. ChatGPT도 마찬가지지만 새롭고 흥미로운 방식으로 약간 수정되었습니다. 통계 외에도 모델의 반응은 인간 평가자에 의해 강화되었습니다. 시스템의 출력에 대해 인간 평가자는 시스템이 좋은 응답을 출력하도록 시스템을 강화합니다. 최종 결과는 시스템이 그럴듯한 말을 할 뿐만 아니라 (이상적으로는) 인간이 적절하다고 판단할 내용도 말하게 된다는 것입니다. 비록 모델이 뭔가 잘못 말하더라도 적어도 다른 사람을 불쾌하게 하지는 않을 것입니다.

그런데 이 방법은 너무 기계적인 느낌이 듭니다. 인간의 대화에는 잘못된 말을 하는 방법이 셀 수 없이 많습니다. 부적절하거나, 부정직하거나, 혼란스럽거나, 그저 어리석은 말을 할 수 있습니다. 옳은 말을 할 때 어조나 억양이 틀리면 비난을 받기도 합니다. 타인을 대하는 과정에서 우리는 셀 수 없이 많은 '대화의 지뢰밭'을 겪게 될 것이다. 잘못된 말을 하지 않도록 하는 것은 대화의 중요한 부분일 뿐만 아니라 대화 자체보다 더 중요한 경우가 많습니다. 때로는 입을 다물고 있는 것이 유일한 올바른 행동일 수도 있습니다.

이것은 두 가지 질문으로 이어집니다. 모델이 잘못된 말을 하지 않는 위험한 상황을 어떻게 제어할 수 있습니까? 그리고 왜 챗봇은 잘못된 말을 하지 않도록 스스로를 효과적으로 통제할 수 없는 걸까요?

대화는 어떻게 진행해야 하나요?

인간의 대화는 마치 대본에 적힌 것처럼 어떤 주제에 대해서도 가능합니다: 레스토랑 주문, 잡담, 늦어서 사과하기 등. 그러나 이것은 작성된 대본이 아니고 즉흥적으로 가득 차 있기 때문에 이 인간 대화 모델은 보다 일반적인 모델이며 규칙은 그다지 엄격하지 않습니다.

인간의 스크립트된 말과 행동은 단어에 의해 제한되지 않습니다. 언어를 이해하지 못하더라도 상대방이 원하는 것이 무엇인지 알기 위해 몸짓을 하는 등 동일한 스크립트가 작동할 수 있습니다. 사회적 규범은 이러한 스크립트를 지배하고 우리가 삶을 탐색하는 데 도움이 됩니다. 이러한 규정은 특정 상황에서 모든 사람이 어떻게 행동해야 하는지를 지시하고, 각 사람에게 역할을 할당하며, 행동 ​​방법에 대한 광범위한 지침을 제공합니다. 규범을 따르는 것은 유용합니다. 이를 표준화하고 합리화하여 상호 작용을 단순화하고 서로의 의도를 더 쉽게 예측할 수 있도록 합니다.

인간은 사용할 포크부터 경적을 울리기 전에 기다려야 하는 시간까지 사회 생활의 모든 측면을 관리하는 루틴과 규범을 개발했습니다. 이는 우리가 만나는 대부분의 사람들이 우리의 신념과 일치하지 않는 완전히 낯선 사람들인 수십억 명의 세계에서 생존하는 데 매우 중요합니다. 이러한 공유 규범을 마련하면 대화가 가능할 뿐만 아니라, 우리가 이야기해야 할 것과 이야기하지 말아야 할 모든 것을 정리하여 유익하게 될 것입니다.

규범의 이면

인간은 규범을 위반하는 사람을 때로는 공개적으로, 때로는 은밀하게 제재하는 경향이 있습니다. 예를 들어, 사회적 규범을 사용하면 첫 데이트에서 낯선 사람을 평가하는 것이 매우 쉽습니다. 대화와 질문을 통해 양측은 서로의 행동을 평가하고 상대방이 규범 중 하나를 위반하는지(예: 서로 다른 방식으로 행동하는지)를 평가합니다. 무례하거나 부적절합니다. 우리는 종종 그들을 판단하고 두 번째 데이트를 거부합니다.

인간의 경우 이러한 판단은 냉정한 분석에 기초할 뿐만 아니라 더 나아가 세상에 대한 감정적 반응에 기초합니다. 어렸을 때 우리가 받는 교육의 일부는 대화에서 적절한 시기에 올바른 감정을 전달하기 위한 감정 훈련입니다. 누군가가 에티켓 규범을 위반할 때 분노하고, 누군가 공격적인 말을 하면 혐오감을 느끼고, 거짓말을 하면 수치심을 느낍니다. 우리의 도덕적 양심을 통해 우리는 대화 중 부적절한 것에 신속하게 반응하고 다른 사람들이 우리의 말에 어떻게 반응할지 예상할 수 있습니다.

그러나 그보다 단순한 규범을 위반하는 사람은 그의 성격 전체에 의문을 갖게 될 것입니다. 그가 한 가지에 대해 거짓말을 한다면 다른 것에 대해서도 거짓말을 하겠는가? 따라서 공개는 상대방에게 수치심을 주고 그 과정에서 상대방이 자신의 행동에 대해 사과하도록(또는 최소한 방어하도록) 강요하기 위한 것입니다. 규범도 강화됐다.

요컨대, 인간은 사회적 규범을 엄격히 준수해야 하며, 그렇지 않으면 무언가를 말할 위험이 높습니다. 우리는 우리가 말하는 모든 것에 책임을 집니다. 그러므로 우리가 말하는 내용을 신중하게 선택하고 주변 사람들도 똑같이 하기를 기대하십시오.

무제한 챗봇

인간 대화의 위험성은 챗봇을 그토록 불안하게 만드는 이유를 드러냅니다. 대화가 어떻게 흘러갈지 예측만 하다가 인간의 규범을 느슨하게 따르게 되지만, 그 규범에 얽매이지는 않는다. 우리가 챗봇과 가볍게 대화를 하거나 언어 퍼즐을 푸는 능력을 테스트할 때, 그들은 종종 그럴듯한 대답을 하고 평범한 인간처럼 행동합니다. 누군가는 챗봇을 사람으로 착각할 수도 있습니다.

그러나 프롬프트를 약간 바꾸거나 다른 스크립트를 사용하면 챗봇은 갑자기 음모론, 인종차별 장광설, 말도 안되는 소리를 뱉어낼 것입니다. 이는 Reddit 및 기타 플랫폼에서 음모론자, 트롤 등이 작성한 콘텐츠에 대한 교육을 받았기 때문일 수 있습니다.

우리 중 누구라도 트롤 ​​같은 말을 할 수 있지만, 트롤의 말은 헛소리, 공격적인 발언, 잔인함, 부정직함으로 가득 차 있기 때문에 그렇게 해서는 안 됩니다. 우리 대부분은 믿지 않기 때문에 이런 말을 하지 않습니다. 품위라는 규범은 공격적인 행동을 사회의 주변부로 몰아갔고, 그래서 우리 대부분은 감히 그런 말을 하지 못할 정도였습니다.

반면, 챗봇은 통계적으로 아무리 가능성이 높아도 말하지 말아야 할 것이 있다는 사실을 인식하지 못합니다. 그들은 말하는 것과 말하지 않는 것 사이의 경계를 정의하는 사회적 규범을 인식하지 못하고, 우리의 언어 사용에 영향을 미치는 깊은 사회적 압력을 인식하지 못합니다. 챗봇이 실수를 인정하고 사과하더라도 그 이유를 이해하지 못합니다. 틀렸다고 지적하면 챗봇은 사과까지 하여 정답을 알려줍니다.

이것은 더 깊은 문제를 조명합니다. 우리는 인간 말하는 사람이 말하는 내용에 진실하고 이에 대해 책임을 질 것으로 기대합니다. 이를 위해 우리는 그들의 두뇌를 조사하거나 심리학에 대해 아무것도 이해할 필요가 없습니다. 우리는 그들이 지속적으로 신뢰할 수 있고, 규칙을 따르고, 그들을 신뢰하기 위해 정중하게 행동한다는 것을 알아야 합니다. 챗봇의 문제는 챗봇이 "블랙박스"이거나 기술에 익숙하지 않다는 것이 아니라 오랫동안 신뢰할 수 없고 불쾌감을 주었으며 개선하려는 노력이 없었고 심지어는 문제가 있다는 인식조차 없었다는 것입니다. 문제.

개발자는 이러한 문제를 확실히 알고 있습니다. 자사의 AI 기술이 널리 활용되기를 바라는 이들과 기업들은 챗봇의 평판을 걱정하고 어려운 대화를 피하거나 부적절한 응답을 없애기 위해 시스템을 재구성하는 데 많은 시간을 소비합니다. 이는 챗봇의 보안을 강화하는 데 도움이 되지만 개발자는 챗봇을 파괴하려는 사람들보다 앞서기 위해 열심히 노력해야 합니다. 결과적으로 개발자의 접근 방식은 반응적이며 항상 뒤쳐져 있습니다. 예측할 수 없을 정도로 문제가 발생할 수 있는 방법이 너무 많습니다.

똑똑하지만 비개인적

이 때문에 인간이 얼마나 똑똑한지, 챗봇이 얼마나 멍청한지에 대해 안주해서는 안 됩니다. 오히려 무엇이든 이야기할 수 있는 그들의 능력은 인간의 사회 생활과 전반적인 세계에 대한 깊은(또는 피상적인) 이해를 드러냅니다. 챗봇은 적어도 테스트를 잘하거나 유용한 정보를 제공할 만큼 똑똑합니다. 챗봇이 교육자들 사이에 야기한 패닉은 책 기반 학습을 통해 배울 수 있는 그들의 인상적인 능력에 대해 많은 것을 말해줍니다.

하지만 문제는 챗봇이 신경쓰지 않는다는 겁니다. 그들은 대화를 통해 달성하고 싶은 본질적인 목표가 없으며, 다른 사람의 생각이나 반응에 의해 동기가 부여되지 않습니다. 그들은 거짓말을 하는 것에 대해 기분이 나쁘지 않으며, 그들의 정직성은 보상을 받지 못합니다. 그들은 트럼프조차도 적어도 정직하다고 주장할 만큼 자신의 평판에 관심을 갖고 있다는 점에서 뻔뻔합니다.

따라서 챗봇 대화는 의미가 없습니다. 인간에게 대화는 연결 만들기, 프로젝트에 대한 도움 받기, 시간 보내기, 무언가 배우기 등 우리가 원하는 것을 얻기 위한 방법입니다. 대화를 위해서는 대화 상대에게 관심을 갖고 이상적으로는 관심을 가져야 합니다.

우리가 대화하는 사람에게 관심이 없더라도 적어도 상대방이 우리에 대해 어떻게 생각하는지에는 관심이 있습니다. 우리는 인생의 성공(예: 친밀한 관계 유지, 좋은 일 수행 등)이 좋은 평판을 갖는 데 달려 있다는 것을 깊이 이해합니다. 사회적 지위가 떨어지면 모든 것을 잃을 위험이 있습니다. 대화는 다른 사람들이 우리를 보는 방식을 결정하며, 우리 중 많은 사람들이 내부 독백을 사용하여 자신에 대한 인식을 형성합니다.

하지만 챗봇에는 자신만의 이야기를 들려주거나 지켜야 할 평판이 없으며, 우리처럼 책임감 있게 행동하라는 매력도 느끼지 않습니다. 챗봇은 Dungeon Master 플레이, 합리적인 카피 작성, 작성자의 아이디어 탐색 지원 등 고도로 스크립트된 다양한 상황에서 유용할 수 있으며 유용합니다. 그러나 그들은 신뢰할 수 있는 사회적 주체, 즉 우리가 대부분 이야기하고 싶은 유형의 사람들이 되기에는 자신이나 다른 사람에 대한 지식이 부족합니다.

정직과 품위에 대한 규범을 이해하지 못하고 평판에 신경 쓰지 않는다면 챗봇의 유용성은 제한적이며 이에 의존하는 것은 실제 위험을 안겨줍니다.

이상한 대화

따라서 챗봇은 인간과 같은 방식으로 대화하지 않으며, 통계적으로 믿을 수 있는 방식으로 대화하는 것만으로는 결코 목표를 달성할 수 없습니다. 소셜 세계에 대한 진정한 이해가 없으면 이러한 AI 시스템은 아무리 재치 있고 유창하게 보이더라도 지루한 수다쟁이에 불과합니다.

이는 이러한 AI 시스템이 왜 매우 흥미로운 도구인지, 인간이 이를 의인화해서는 안 되는 이유를 밝히는 데 도움이 됩니다. 인간은 단지 냉정한 사상가나 연설가가 아니라 본질적으로 규범을 준수하는 존재이며, 공유되고 강요된 기대를 통해 서로 감정적으로 연결되어 있습니다. 인간의 사고와 언어는 그 자체의 사회적 본성에서 비롯됩니다.

순수한 대화는 광범위한 세계 참여와 동떨어져 있으며 인간과 아무런 공통점이 없습니다. 챗봇은 때때로 우리와 똑같은 언어를 사용하더라도 우리와 같은 언어를 사용하지 않습니다. 하지만 궁극적으로 그들은 우리가 왜 이렇게 이야기하는지 이해하지 못하는 것이 당연합니다.

위 내용은 Yann LeCun: 사회적 규범에 관계없이 ChatGPT는 실제 사람과 거리가 멀습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!