ChatGPT는 모델을 스스로 선택할 수 있습니다! Microsoft Asia Research Institute + Zhejiang University의 최신 논문, HuggingGPT 프로젝트가 오픈 소스화되었습니다.

ChatGPT가 촉발한 AI 열풍은 금융권도 불태웠다.

최근 Bloomberg 연구원들은 금융 분야의 GPT인 Bloomberg GPT를 500억 개의 매개변수로 개발했습니다.

GPT-4의 출현으로 많은 사람들이 대규모 언어 모델의 강력한 기능을 맛볼 수 있었습니다.

단, OpenAI는 오픈되어 있지 않습니다. 업계의 많은 사람들이 GPT 복제를 시작했으며 많은 ChatGPT 대체 모델이 오픈 소스 모델, 특히 Meta 오픈 소스 LLMa 모델을 기반으로 구축되었습니다.

예를 들어 Stanford의 Alpaca, UC Berkeley는 CMU, Stanford 및 기타 Vicuna, 스타트업 Databricks의 Dolly 등과 협력했습니다.

다양한 작업과 애플리케이션을 위해 구축된 다양한 대규모 ChatGPT와 유사한 언어 모델이 전체 분야에서 수백 개의 사상 학교 사이에서 경쟁하고 있습니다.

그렇다면 질문은 연구자들이 복잡한 작업을 완료하기 위해 어떻게 적절한 모델, 심지어는 여러 모델을 선택하느냐 하는 것입니다.

최근 Microsoft Research Asia와 Zhejiang University의 연구팀은 대규모 모델 협업 시스템인 HuggingGPT를 출시했습니다.

문서 주소: https://arxiv.org/pdf/2303.17580.pdf

HuggingGPT는 ChatGPT를 컨트롤러로 사용하여 HuggingFace 커뮤니티의 다양한 AI 모델을 연결하여 멀티모달 컴플렉스를 완성합니다. 작업.

HuggingGPT를 통해 사진, 동영상, 음성을 포함한 다양한 기능을 사용할 수 있다는 뜻입니다.

HuggingGPT 브리지

연구원들은 LLM(대형 언어 모델)의 현재 문제를 해결하는 것이 AGI를 향한 첫 번째이자 중요한 단계일 수 있다고 지적했습니다.

현재의 대규모 언어 모델 기술에는 여전히 일부 단점이 있기 때문에 AGI 시스템을 구축하는 과정에는 몇 가지 시급한 과제가 있습니다.

- 텍스트 생성의 입력 및 출력 형식으로 인해 현재 LLM에는 복잡한 정보(예: 시각 및 음성)를 처리하는 능력이 부족합니다.

- 실제 응용 시나리오에서는 일반적으로 일부 복잡한 작업이 수행됩니다. 여러 개의 하위 작업으로 구성되므로 여러 모델의 일정 관리 및 공동 작업이 필요합니다. 이는 언어 모델의 기능을 넘어서는 것이기도 합니다.

- 일부 어려운 작업의 경우 LLM은 제로 샷 또는 작업에서 잘 수행됩니다. 몇 장의 설정 뛰어난 결과를 제공하지만 일부 전문가(예: 미세 조정 모델)에 비해 여전히 약합니다.

복잡한 AI 작업을 처리하려면 LLM이 외부 모델과 협력하여 해당 기능을 활용할 수 있어야 합니다. 따라서 핵심은 LLM과 AI 모델을 연결하기 위해 적절한 미들웨어를 선택하는 방법입니다.

연구원들은 각 AI 모델이 모델 기능을 요약하면 언어 형태로 표현할 수 있다는 사실을 발견했습니다.

이렇게 "언어는 LLM, 즉 인공지능 모델을 연결하는 범용 인터페이스인 ChatGPT"라는 개념이 도입되었습니다.

AI 모델 설명을 프롬프트에 통합함으로써 ChatGPT는 AI 모델 관리를 위한 두뇌로 간주될 수 있습니다. 따라서 이 방법을 사용하면 ChatGPT가 외부 모델을 호출하여 실제 작업을 해결할 수 있습니다.

간단히 말하면 HuggingGPT는 대형 모델이 아닌 협업 시스템입니다.

이 기능은 ChatGPT와 HuggingFace를 연결하여 다양한 양식의 입력을 처리하고 많은 복잡한 인공 지능 작업을 해결하는 것입니다.

따라서 HuggingFace 커뮤니티의 모든 AI 모델은 HuggingGPT 라이브러리에 해당 모델 설명이 있으며 ChatGPT와의 연결을 설정하기 위해 프롬프트에 통합됩니다.

HuggingGPT는 ChatGPT를 두뇌로 사용하여 질문에 대한 답을 결정합니다.

지금까지 HuggingGPT는 ChatGPT를 중심으로 HuggingFace에 수백 개의 모델을 통합했으며, 이는 텍스트 분류, 대상 감지, 의미론적 분할, 이미지 생성, 질문 및 답변, 텍스트 음성 변환, 텍스트 변환 등 24개 모델을 포함합니다. 일.

실험 결과는 HuggingGPT가 다중 모드 정보와 복잡한 인공 지능 작업을 처리할 수 있는 능력을 가지고 있음을 입증합니다.

4단계 워크플로

HuggingGPT 전체 워크플로는 다음 네 단계로 나눌 수 있습니다.

-작업 계획: ChatGPT는 사용자 요청을 구문 분석하여 여러 단계의 작업을 수행하고 지식을 기반으로 작업 순서 및 종속성을 계획합니다

- 모델 선택: LLM은 HuggingFace

의 모델 설명을 기반으로 구문 분석된 작업을 전문가 모델에 할당합니다. - 작업 실행: 전문가 모델은 추론 끝점에서 할당된 작업을 실행하고 실행 정보와 추론 결과를 LLM에 기록합니다

- 응답 생성: LLM은 실행 프로세스 로그와 추론 결과를 요약하여 사용자에게 반환합니다

다중 모드 기능,

실험 설정

실험에서 연구원들은 GPT 모델의 두 가지 변형인 gpt-3.5-turbo와 text-davinci-003을 사용했습니다. OpenAI API를 통해 공개적으로 액세스할 수 있는 LLM(규모 언어 모델).

LLM의 출력을 보다 안정적으로 만들기 위해 디코딩 온도를 0으로 설정했습니다.

동시에 예상 형식에 맞게 LLM의 출력을 조정하기 위해 형식 제약 조건에서 logit_bias를 0.1로 설정했습니다.

연구원들은 다음 표에서 임무 계획, 모델 선택 및 반응 생성 단계를 위해 설계된 자세한 프롬프트를 제공합니다. 여기서 {{변수}}는 프롬프트를 입력하기 전에 해당 텍스트로 채워야 함을 나타냅니다. LLM 도메인 값에 넣습니다.

연구원들은 다양한 다중 모드 작업에서 HuggingGPT를 테스트했습니다.

ChatGP와 전문가 모델의 협력을 통해 HuggingGPT는 탐지, 생성, 분류 및 질문 답변을 포함하여 언어, 이미지, 오디오 및 비디오와 같은 다양한 모드에서 작업을 해결할 수 있습니다.

이러한 작업은 간단해 보이지만 HuggingGPT의 기본 기능을 익히는 것은 복잡한 작업을 해결하기 위한 전제 조건입니다.

예를 들어 시각적 질문 및 답변 작업:

텍스트 생성:

Vincent 사진:

HuggingGPT 캔 여러 통합 입력 내용을 기반으로 간단한 추론을 수행합니다. 여러 작업 리소스가 있더라도 HuggingGPT는 기본 작업을 여러 기본 작업으로 분해하고 최종적으로 여러 모델의 추론 결과를 통합하여 정답을 얻을 수 있음을 알 수 있습니다.

또한 연구진은 테스트를 통해 복잡한 작업 상황에서 HuggingGPT의 효율성을 평가했습니다.

여러 복잡한 작업을 처리하는 HuggingGPT의 능력을 보여주었습니다.

여러 요청을 처리할 때 여러 암시적 작업이나 요구사항 및 기타 정보가 포함될 수 있습니다. 이때 문제를 해결하기 위해 전문가 모델에 의존하는 것만으로는 충분하지 않습니다.

HuggingGPT는 작업 계획을 통해 여러 모델의 협업을 구성할 수 있습니다.

사용자 요청에는 명시적으로 여러 작업이 포함될 수 있습니다.

다음 그림은 다중 회전 대화 시나리오에서 복잡한 작업을 처리하는 HuggingGPT의 기능을 보여줍니다.

사용자는 복잡한 요청을 여러 단계로 나누고 여러 라운드의 요청을 통해 최종 목표에 도달합니다. HuggingGPT는 작업 계획 단계에서 대화 상황 관리를 통해 사용자 요청의 상황 현황을 추적할 수 있으며, 사용자가 언급한 요청 리소스 및 작업 계획을 잘 해결할 수 있음을 알 수 있었습니다.

"Jarvis"는 오픈 소스입니다

현재 이 프로젝트는 GitHub에 오픈 소스로 공개되어 있지만 코드가 완전히 공개되지 않았습니다.

흥미롭게도 연구원들은 이 프로젝트를 '아이언맨'에서 자비스라고 명명했는데, 무적의 AI가 여기에 있습니다.

JARVIS: LLM과 ML 커뮤니티를 연결하는 시스템

그런데 HuggingGPT를 사용하려면 OpenAI API가 필요합니다.

Netizen: 연구의 미래

JARVIS / HuggingGPT는 이전에 Meta가 제안한 Toolformer와 마찬가지로 커넥터 역할을 하고 있습니다.

ChatGPT 플러그인도 포함됩니다.

한 네티즌은 "최초의 인공일반지능(AGI)이 예상보다 빨리 등장하지 않을까 강하게 의심된다. ​​일련의 좁은 인공지능과 실용성을 지능적으로 결합할 수 있는 '접착제' 인공지능에 의존할 것"이라고 말했다. 도구는 서로 붙어 있습니다.

저를 하룻밤 사이에 수학 멍청이에서 수학 천재로 만들어준 추가 기능에 대한 액세스 권한을 받았습니다. 물론 이는 작은 발걸음에 불과하지만 향후 발전 추세를 보여주는 신호이기도 하다.

내년쯤에는 수십 개의 LLM(대형 언어 모델) 및 유사한 도구에 연결된 AI 도우미를 보게 될 것으로 예상하며, 최종 사용자만이 지시를 내려야 합니다. 조수에게 작업을 완료하도록 합니다. 이 공상 과학 순간이 다가오고 있습니다.

일부 네티즌들은 이것이 미래의 연구 방법이라고 말했습니다.

GPT 많은 도구 앞에서는 사용법을 알고 있습니다.

위 내용은 ChatGPT는 모델을 스스로 선택할 수 있습니다! Microsoft Asia Research Institute + Zhejiang University의 최신 논문, HuggingGPT 프로젝트가 오픈 소스화되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!