OpenAI CEO에 의해 폐쇄된 후 Yann LeCun은 다시 비판했습니다. ChatGPT의 현실 파악은 매우 피상적입니다.
- WBOY앞으로
- 2023-04-11 12:25:031270검색
대두들의 관계는 가끔 정말 혼란스럽습니다.
어제 누군가 OpenAI CEO인 Sam Altman이 Twitter에서 Meta의 수석 인공 지능 과학자인 Yann LeCun을 팔로우하지 않았다는 사실을 발견했습니다.
이번 탈퇴가 발생한 구체적인 시점을 판단하기는 어렵지만, 사건의 원인은 기본적으로 판단할 수 있습니다 —— 며칠 전 Yann LeCun이 소규모 온라인 모임에 참석했습니다. 얼마 전 언론과 경영진이 ChatGPT에 대한 자신의 견해를 밝혔습니다.
"기본 기술에 관한 한 ChatGPT는 특별히 혁신적이거나 혁명적이지 않습니다. 많은 연구실에서 동일한 기술을 사용하여 동일한 작업을 수행하고 있습니다. "
ZDNet의 보고서에서 "ChatGPT는 '특별히 혁신적이지 않고', '혁신적인 것도 없다'고 Meta의 수석 AI 과학자는 말합니다."에서는 LeCun의 연설 내용 중 일부가 공개되었습니다. 놀라운 댓글이 있습니다:
- "다른 실험실과 비교할 때 OpenAI는 특별한 진전을 이루지 못했습니다."
- "ChatGPT에서 사용하는 Transformer 아키텍처는 이러한 자기 감독 방식으로 사전 훈련되었습니다. 지도 학습은 OpenAI가 등장하기 전부터 오랫동안 옹호해 온 것입니다. Transformer는 Google의 발명품이며 이러한 유형의 언어에 대한 작업은 수십 년 전으로 거슬러 올라갑니다. 이 경우 Sam Altman의 제거 조치도 용서할 수 있습니다.
- "차단 해제"가 발견된 지 4시간 후 Yann LeCun은 뉴스를 업데이트하고 다시 한 번 "음과 양" ChatGPT 기사를 전달했습니다.
왜 이렇게 대규모 채팅이 GPT에서 가능할까요? 언어 모델이 말도 안 되는 소리를 내뱉나요? 그들의 현실 파악은 매우 피상적입니다.
어떤 사람들은 이에 동의하지 않습니다. "ChatGPT는 수많은 책과 기타 정보 소스에 대한 교육을 받은 광범위한 지식과 엄청난 창의성의 원천입니다."
LLM이 쓸모없다고 말한 사람은 아무도 없습니다. FAIR의 Galactica의 짧은 릴리스에서 제가 직접 그렇게 말했습니다. 사람들은 Nonsense를 생성하기 때문에 그것을 십자가에 못 박았습니다. ChatGPT도 같은 일을 합니다. 그러나 이것이 작동하지 않는다는 의미는 아닙니다.
사실 이 Atlantic 기사는 MIT Cognitive Science Group의 논문을 참조한 것입니다. 구체적인 연구 내용을 살펴보자. 
이 논문의 제목은 "Dissociating Language and Thought in Large Language Models: a Cognitive Perspective"이며, 저자는 University of Texas at Austin, MIT 및 UCLA 출신입니다.
문서 주소: https://arxiv.org/pdf/2301.06627.pdf
우리는 오늘날의 대규모 언어 모델(LLM)이 일관성 있고 문법적이며 의미 있어 보이는 텍스트 단락. 이 성과는
이러한 네트워크가 이미 또는 곧 "생각하는 기계"가 되어 추상적 지식과 추론이 필요한 작업을 수행할 것이라는 추측을 불러일으켰습니다
이 기사에서 저자는 LLM의 능력을 관찰하기 위해 언어 사용 성능의 두 가지 측면을 각각 고려합니다.
- 공식 언어 능력 , 특정 언어의 규칙 및 패턴에 대한 지식 포함
- 기능적 언어 능력 , 언어 이해 및 사용에 필요한 일련의 지각 능력 현실 세계에서.
저자는 인지 신경과학의 증거를 바탕으로 인간의 형식적 능력은 특정 언어 처리 메커니즘에 의존하는 반면 기능적 능력은 형식적 추론, 세계 지식 및 상황 모델링을 구성하는 언어 이상의 다양한 능력을 필요로 함을 보여줍니다. 사회적 인지 및 기타 사고 능력. 인간의 두 가지 능력을 구별하는 것과 유사하게 LLM은 형식적인 언어 능력이 필요한 작업에서는 (불완전하지만) 잘 수행하지만 기능적 능력이 필요한 많은 테스트에서는 실패하는 경향이 있습니다.
이 증거를 바탕으로 저자는 첫째로 현대 LLM이 형식적인 언어 능력을 갖춘 모델로 진지하게 받아들여야 하며, 둘째, 실제 언어 사용을 다루는 모델은 핵심 언어 모듈을 통합하거나 개발해야 한다고 믿습니다. 모델링 사고력은 언어에 국한되지 않는 다양한 인지 능력이 필요합니다.
요약하자면, 그들은 형식적 언어 능력과 기능적 언어 능력의 구별이 LLM의 잠재력에 대한 논의를 명확하게 하는 데 도움이 되고 인간과 같은 방식으로 언어를 이해하고 사용하는 모델을 구축하는 방법을 제공한다고 주장합니다. 많은 비언어적 작업에 대한 LLM의 실패는 언어 처리를 위한 좋은 모델로서 LLM을 약화시키지 않습니다. 인간의 정신과 뇌를 비유로 사용한다면 AGI의 미래 발전은 언어 모델의 통합과 추상적인 표현에 달려 있습니다. 지식과 복잡한 추론 지원 모델이 결합되었습니다 .
ChatGPT의 수학적 수준은 여전히 개선이 필요합니다
LLM은 언어 이외의 기능적 능력(추론 등)이 부족하며, OpenAI의 ChatGPT가 그 예입니다. 수학 실력이 향상됐다고 공식 발표했지만, 네티즌들은 덧셈과 뺄셈이 10 이내에서만 능숙하다고 불평했습니다.
최근 "ChatGPT의 수학적 기능"이라는 논문에서 옥스포드 대학, 케임브리지 대학 및 기타 기관의 연구원들은 공개적으로 사용 가능한 데이터 세트와 직접 만든 데이터 세트를 대상으로 ChatGPT의 수학적 기능을 테스트하고 성능을 비교 측정했습니다. Minerva와 함께 다른 수학적 말뭉치에 대해 훈련된 다른 모델의 성능. 동시에 수학자들의 일상적인 전문 활동(질문과 답변, 정리 검색)에서 발생하는 다양한 사용 사례를 시뮬레이션하여 ChatGPT가 전문 수학자에게 유용한 보조 도구라고 할 수 있는지 테스트합니다.
논문 주소: https://arxiv.org/pdf/2301.13867.pdf
연구원들은 최초의 자연어인 새로운 데이터 세트인 GHOSTS를 도입하고 공개했습니다. 대학원 수준의 수학을 다루며 언어 모델의 수학적 기능에 대한 포괄적인 개요를 제공하는 수학 연구원이 생성하고 선별한 데이터 세트입니다. 그들은 GHOSTS에서 ChatGPT를 벤치마킹하고 세분화된 기준에 따라 성능을 평가했습니다.
테스트 결과는 ChatGPT의 수학 능력이 일반 수학 대학원생의 수학 능력보다 현저히 낮은 것으로 나타났습니다. 일반적으로 질문을 이해할 수는 있지만 정답을 줄 수는 없습니다.
ChatGPT Plus 멤버십은 월 US$20에 이용할 수 있습니다.
어쨌든 ChatGPT의 상업적 성공은 모두에게 분명합니다.
방금 OpenAI는 월 20달러의 새로운 유료 멤버십 서비스인 "ChatGPT Plus"를 발표했습니다.
구독자는 다음과 같은 혜택을 누릴 수 있습니다.
- 피크 기간에도 ChatGPT에 대한 보편적인 액세스
- 더 빠른 응답 시간
- 새로운 기능 및 개선 사항에 대한 우선 액세스.
OpenAI는 미국 내 사람들과 대기자 명단에 있는 사람들에게 "향후 몇 주 안에" 서비스 초대장을 보낼 것이며 서비스를 다른 국가와 지역으로 확장할 것이라고 말했습니다.
일주일 전에 OpenAI가 ChatGPT 서비스의 플러스 또는 프로 버전을 월 US$42의 가격으로 출시할 것이라는 소식이 있었지만, 월 US$20의 최종 가격으로 인해 확실히 접근성이 좋아졌습니다. 이 서비스에는 학생과 기업이 포함됩니다.
어떤 면에서는 이는 출시하려는 시장의 모든 AI 챗봇에 대한 결제 표준을 설정할 것입니다. OpenAI가 이 분야의 선구자라는 점을 감안할 때, 다른 회사가 월 20달러 이상을 지불하는 봇을 출시하려고 한다면 먼저 한 가지를 설명해야 합니다. 왜 자사의 챗봇이 ChatGPT Plus보다 더 가치가 있습니까?
위 내용은 OpenAI CEO에 의해 폐쇄된 후 Yann LeCun은 다시 비판했습니다. ChatGPT의 현실 파악은 매우 피상적입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!