Fudan, ChatGPT 중국어 버전 출시: MOSS가 테스트를 시작하고 인기 검색어에 도달하고 서버가 과밀됨

ChatGPT는 가장 발전된 AI이자 가장 인기 있는 애플리케이션입니다. 작년 11월 말 출시 이후 두 달 만에 월간 활성 사용자가 1억 명을 돌파하며 전 세계 인터넷 역사상 사용자 증가율 1위에 가까웠습니다. .

역시 문턱이 높은 기술입니다. ChatGPT의 교육 과정에 필요한 대규모 컴퓨팅 리소스와 높은 라벨링 비용으로 인해 현재 중국에는 대중에게 공개되는 유사한 제품이 없습니다. 바이두, 알리바바, JD.com 등 주요 인터넷 기업들은 모두 '국내 ChatGPT'를 구축 중이며 조만간 출시할 것이라는 소식을 공개했다.

메이저 제조사의 제품이 나오기 전, 학계에서는 먼저 소식을 접했습니다. 2월 20일 저녁, 푸단대학교 자연어 처리 연구소는 ChatGPT 기능을 갖춘 언어 모델인 MOSS를 출시하고 내부 테스트를 위해 대중을 초대했습니다.

• MOSS 체험링크: https://moss.fastnlp.top/
• MOSS 프로젝트 홈페이지: https://txsun1997.github.io/blogs/moss.html

MOSS라는 이름은 영화 "유랑지구"에서 유래되었습니다. 영화만큼 인기가 높았던 만큼 MOSS에서 공개한 소식은 단숨에 Zhihu 및 기타 플랫폼의 인기 검색어 상위권에 올랐습니다.

그러나 현실 세계의 AI는 아직 양자 컴퓨터의 축복을 받지 못했습니다. 과도한 순간 접속 압박으로 인해 MOSS 서버는 아직 오픈되지 않았습니다. 이는 생성 언어 모델에 대한 모든 사람의 기대가 얼마나 높은지 보여줍니다.

푸단대학교 연구진에 따르면 현재 내부 테스트 중이며 사용자 상호작용에 대해 반복적으로 최적화되고 있어 공개 테스트에는 적합하지 않습니다.

우리는 자연어 처리가 AI 분야의 가장 큰 과제 중 하나라는 것을 알고 있습니다. 이미 획기적인 발전이 이루어졌지만 이번 달에 출시된 새로운 Bing 검색과 Google에서 출시한 경쟁 제품인 BARD는 때때로 테스트를 거쳤습니다. 푸단 대학교의 MOSS 수준은 무엇입니까?

MOSS와 대화해보세요. 레벨은 어떤가요?

MOSS의 기본 기능은 ChatGPT와 유사하며 사용자가 입력한 명령에 따라 텍스트 생성, 텍스트 요약, 번역, 코드 생성, 채팅 등 다양한 자연어 처리 작업을 완료할 수 있습니다. 미리 보기 기간 동안 MOSS 사용은 무료입니다.

MOSS는 ChatGPT와 동일하며, 구성 과정은 자연어 기본 모델 훈련과 인간의 의도를 이해하기 위한 대화 능력 훈련의 두 단계로 구성됩니다.

프로젝트 홈페이지에 따르면 MOSS와 ChatGPT의 주요 차이점은 다음과 같습니다.

• MOSS는 ChatGPT보다 매개 변수가 훨씬 적습니다.
• MOSS는 인간 및 기타 AI 모델과 대화하여 학습하는 반면 ChatGPT는 RLHF(인간 피드백을 통한 강화 학습)를 통해 학습됩니다.
• MOSS는 향후 연구를 용이하게 하기 위해 오픈 소스가 될 것이지만 ChatGPT는 그렇지 않을 것입니다.

MOSS가 어떻게 대화하는지 몇 가지 예를 살펴보겠습니다. 다음은 MOSS에서 생성된 상호 작용 기록입니다.

이 예에서 사용자는 먼저 MOSS에게 공상 과학 영화 5편을 추천해 달라고 요청한 다음 MOSS에게 이 영화와 감독을 표시하는 테이블을 생성하도록 요청하고 마지막으로 MOSS에게 출시 연도를 표시하는 새 열을 테이블에 삽입하도록 요청했습니다. 이 영화들 중. 이 작업을 완료하려면 강력한 다단계 상호 작용 기능과 명령 이해 기능을 갖춘 언어 모델이 필요합니다.

ChatGPT와 유사하게 MOSS는 때때로 사실 오류의 몇 가지 예를 출력합니다.

다양한 대화 외에도 MOSS 코드 생성도 매우 쉽습니다. 다음 예에서 MOSS는 사용자에게 빠른 정렬을 구현하기 위한 Python 코드를 제공할 수 있을 뿐만 아니라 사용자의 요청에 따라 이 코드에 대한 설명과 사용 예도 제공할 수 있도록 단계별로 가르치는 프로그래머라고 할 수 있습니다.

MOSS의 도움을 받아 코드를 작성하는 것 외에도 코드를 더 잘 이해하는 데 도움이 되도록 코드 세부 사항에 대해 MOSS에 질문할 수도 있습니다. 아래 예에서 사용자는 프로그래밍 언어와 코드의 기능에 대해 MOSS에 질문했고, 추가로 기능 중 하나의 역할에 대해서도 MOSS에 대해 질문하여 만족스러운 답변을 제공했습니다.

또한 MOSS는 인간의 가치를 지닌 존재이기 때문에 불합리한 질문에는 답변을 거부하고 올바른 설득을 하게 됩니다.

MOSS는 학습을 위해 수백억 개의 매개변수가 포함된 자체 개발 모델을 사용하는 것으로 이해됩니다. 대화 능력 훈련 단계에서 OpenAI는 최소 수십만 개의 인간 지침을 수집하여 다양한 업계의 전문 주석자가 지침을 작성한 다음 이를 모델 기반에 입력하여 ChatGPT가 다양한 지침을 점차적으로 이해할 수 있도록 돕습니다. Fudan 팀은 MOSS가 인간 및 기타 AI 모델과 상호 작용할 수 있도록 함으로써 학습 효율성과 R&D 효율성을 크게 향상하고 짧은 시간에 대화 능력 훈련을 효율적으로 완료했습니다.

R&D 팀에서는 MOSS가 ChatGPT의 일부 기능을 구현했지만 고품질 데이터, 컴퓨팅 리소스 및 모델 용량이 부족하기 때문에 여전히 많은 제한 사항이 있다고 밝혔습니다.

• 훈련 데이터의 제한된 다국어 코퍼스로 인해 MOSS는 영어 이외의 언어로 된 텍스트를 이해하고 생성하는 데 성능이 좋지 않습니다. 팀은 현재 중국어 능력을 향상시키기 위해 향상된 버전을 개발하고 있습니다.
• 모형 용량이 상대적으로 작기 때문에 MOSS에는 충분한 세계 지식이 포함되어 있지 않습니다. 따라서 MOSS에서 생성된 일부 응답에는 오해의 소지가 있거나 잘못된 정보가 포함될 수 있습니다.
• 때때로 MOSS는 우회적인 방식으로 작업을 수행하거나 지시를 따르지 않을 때도 있습니다. 이 경우 사용자는 만족스러운 응답을 얻기 위해 프롬프트를 여러 번 재생성하거나 수정해야 할 수도 있습니다. 팀은 지침을 따르는 능력과 생산성을 적극적으로 개선하고 있습니다.
• 때때로 MOSS는 프롬프트로 인해 비윤리적이거나 유해한 반응을 일으킬 수 있습니다. 사용자는 "비추천"을 클릭하여 이러한 동작을 줄이는 데 도움을 줄 수 있으며 팀은 다음 릴리스에서 모델을 업데이트할 것입니다.

연구팀은 현재 버전의 MOSS의 성능이 여전히 불안정하고 데이터 세트 문제의 영향도 받는다고 지적했습니다. "MOSS의 영어 응답 수준이 중국어보다 높습니다. 3000억 개가 넘는 영어 단어, 약 300억 개의 중국어 단어만 학습되었습니다."

출시 후 팀은 MOSS에 접근 가능한 인터페이스를 제공하여 귀중한 사용자 피드백(허가를 받아)을 기반으로 모델을 계속 개선할 것입니다.

앞으로 연구자들은 푸단의 연구 결과를 인공 지능 및 관련 학제간 주제와 결합하여 MOSS에 그림, 음성, 작문 등의 다중 모드 기능을 부여하고 과학자들이 효율적인 과학 수행을 지원하는 능력을 강화할 계획입니다. 연구.

MOSS가 중국의 대규모 대화 모델 개발에 좋은 시작이 되기를 바랍니다.

팀 소개

MOSS의 주요 저자는 푸단대학교 Qiu Xipeng 교수와 그의 박사과정 학생 Sun Tianxiang입니다. 그 외에도 여러 회원들이 프로젝트에 참여해 주셨습니다.

Qiu Xipeng, 푸단대학교 컴퓨터 과학 기술 대학 교수 겸 박사 지도교수. 전국 우수 청년학자인 그는 푸단대학교에서 이학사 및 박사학위를 취득했습니다. 주로 자연어 처리, 딥 러닝 및 기타 방향 연구에 참여하고 70개 이상의 CCF 카테고리 A/B 논문을 발표했으며 ACL 2017 우수 논문상(CCF 카테고리 A), CCL 2019 최우수 논문상 "중국 과학"을 수상했습니다. : Technical Sciences' 2021년 High Impact Paper Award에서는 PaperDigest가 발행한 IJCAI/ACL/EMNLP의 가장 영향력 있는 논문으로 5편의 논문이 선정되었습니다(인용횟수는 이번 학회 상위 20위 안에 들었습니다). Github 팔로어가 15,000명이고 Douban 점수가 9.4인 오픈 소스 논문 "신경망 및 딥 러닝"을 출판했습니다. 그는 국내외 수백 개의 유닛에서 사용되는 오픈 소스 프레임워크인 FudanNLP 및 FastNLP의 개발을 주도했습니다. 2015년 제1회 중국 과학기술협회 청년 인재 육성 프로젝트에 선정되었으며, 2018년에는 Qian Weichang 중국 정보 처리 과학 기술상 청년 혁신상 1위를 수상했습니다. 2021년 제4회 상하이 대학 젊은 교사 교육 대회에서 우수상을 수상했습니다. 제1회 상하이 컴퓨터 학회 교육 공로상(최초 수료자) 등을 수상했습니다. 학생들은 여러 1급 학술 장학금, Microsoft Scholars, Baidu 장학금 등을 받을 수 있도록 교육을 받았습니다.

Sun Tianxiang은 푸단대학교 컴퓨터 과학부의 박사 과정 학생입니다. 그의 지도교수는 Qiu Xipeng 교수와 Huang Xuanjing 교수입니다. 2019년 시안전자과기대학교를 졸업했습니다. 연구 관심 분야는 기계 학습과 자연어 처리에서의 응용, 특히 사전 훈련된 언어 모델의 효율적인 미세 조정 및 추론, 다중 작업 학습, 지식 표현 학습 등에 중점을 두고 있습니다. ICML, ACL, NAACL, AAAI, COLING 등 학회에서 제1저자로 다수의 논문을 게재했습니다.

위 내용은 Fudan, ChatGPT 중국어 버전 출시: MOSS가 테스트를 시작하고 인기 검색어에 도달하고 서버가 과밀됨의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!