한 번의 클릭으로 100,000개 이상의 AI 모델을 제어하고 HuggingFace는 ChatGPT와 유사한 모델을 위한 '앱 스토어'를 만듭니다.

채팅부터 프로그래밍, 다양한 플러그인 지원까지, 강력한 ChatGPT는 오랫동안 더 이상 단순한 대화 도우미가 아닌 AI 세계의 '관리'를 향해 나아가고 있습니다.

3월 23일, OpenAI는 ChatGPT가 유명한 과학 및 엔지니어링 유물인 Wolfram Alpha와 같은 다양한 타사 플러그인을 지원하기 시작했다고 발표했습니다. 이 유물의 도움으로 원래 같은 우리에 갇힌 닭과 토끼였던 ChatGPT는 과학과 공학 분야의 최고 학생이 되었습니다. 트위터의 많은 사람들은 ChatGPT 플러그인 출시가 2008년 iPhone App Store 출시와 약간 비슷하다고 말했습니다. 이는 AI 챗봇이 새로운 진화 단계, 즉 '메타 앱' 단계에 진입하고 있음을 의미하기도 합니다.

이에 이어 4월 초, 절강대학교와 Microsoft Asia Research의 연구진은 위 경로의 대규모 시연이라 할 수 있는 "HuggingGPT"라는 중요한 방법을 제안했습니다. HuggingGPT를 사용하면 ChatGPT가 컨트롤러(관리 계층으로 이해될 수 있음) 역할을 하여 다수의 다른 AI 모델을 관리하여 일부 복잡한 AI 작업을 해결할 수 있습니다. 구체적으로 HuggingGPT는 사용자 요청을 받으면 작업 계획을 위해 ChatGPT를 사용하고, HuggingFace에서 제공되는 기능 설명을 기반으로 모델을 선택하고, 선택된 AI 모델로 각 하위 작업을 실행하고, 실행 결과에 따라 응답을 집계합니다.

이 접근 방식은 처리할 수 있는 제한된 양식과 일부 측면에서 전문 모델만큼 좋지 않은 등 현재 대형 모델의 많은 단점을 보완할 수 있습니다.

HuggingFace 모델이 예정되어 있지만 HuggingGPT는 결국 HuggingFace의 공식 제품이 아닙니다. 방금 HuggingFace가 마침내 조치를 취했습니다.

HuggingGPT와 유사하게 HuggingFace Transformers Agents라는 새로운 API를 출시했습니다. Transformers Agents를 통해 100,000개 이상의 Hugging Face 모델을 제어하여 다양한 다중 모드 작업을 완료할 수 있습니다.

예를 들어 아래 예에서는 Transformers Agent가 그림에 묘사된 내용을 큰 소리로 설명하기를 원합니다. 이는 귀하의 지침을 이해하려고 시도한 다음(이미지 내용을 큰 소리로 읽기) 이를 프롬프트로 변환하고 적절한 모델과 도구를 선택하여 귀하가 지정한 작업을 완료합니다.

NVIDIA AI 과학자 Jim Fan은 다음과 같이 말했습니다. 드디어 오늘이 왔습니다. 이것은 "Everything APP"을 향한 중요한 단계입니다.

그러나 일부 사람들은 이것이 AutoGPT의 자동 반복과 동일하지 않다고 말합니다. 프롬프트를 작성하고 도구를 수동으로 지정하는 단계를 없애는 것과 비슷하며 아직은 너무 이르습니다. 유니버셜 앱.

Transformers Agents 주소: https://huggingface.co/docs/transformers/transformers_agents

Transformers Agents 사용 방법은?

HuggingFace는 출시와 동시에 Colab 주소를 공개했습니다. 누구나 사용해 볼 수 있습니다.

https://huggingface.co/docs/transformers/en/transformers_agents

Simple In 간단히 말해서 변환기 위에 자연어 API를 제공합니다. 먼저 선별된 도구 세트를 정의하고 자연어를 해석하고 이러한 도구를 사용하도록 에이전트를 설계합니다.

또한 Transformers Agent는 확장 가능하도록 설계되었습니다.

팀에서는 상담원에게 권한을 부여할 수 있는 도구 세트를 확인했습니다. 통합 도구 목록은 다음과 같습니다.

• 문서 Q&A: 이미지 형식(예: PDF)의 문서가 제공되면 문서(도넛)
• 텍스트 Q&A: 긴 텍스트와 질문이 주어지면 텍스트로 질문에 답하세요(Flan-T5)
• 무조건 이미지 캡션: 이미지에 캡션 추가(BLIP)
• 그림 Q&A: 그림이 주어지면 그림에 대한 질문에 답하세요(VILT)
• 이미지 분할: 이미지와 프롬프트가 주어지면 프롬프트의 분할 마스크를 출력합니다(CLIPSeg)
• 음성을 텍스트로 변환: Give Define 사람이 말하는 것을 녹음하고 음성을 텍스트로 변환(Whisper)
• 텍스트 음성 변환: 텍스트를 음성으로 변환(SpeechT5)
• 제로 샘플 텍스트 분류: 텍스트와 태그 목록이 주어지면 다음을 결정합니다. 텍스트 및 가장 잘 일치하는 태그(BART)
• 텍스트 요약: 긴 텍스트를 하나 또는 몇 개의 문장으로 요약합니다(BART)
• 번역: 텍스트를 특정 언어로 번역합니다(NLLB)

이러한 도구는 변환기에 통합되어 있으며 수동으로 사용할 수도 있습니다.

<code>from transformers import load_tooltool = load_tool("text-to-speech")audio = tool("This is a text to speech tool")</code>

사용자는 도구의 코드를 Hugging Face Space 또는 모델 저장소에 푸시하여 다음과 같이 에이전트를 통해 직접 도구를 활용할 수도 있습니다.

• 텍스트 다운로더: 웹 URL에서 텍스트 다운로드
• 텍스트를 이미지로: 프롬프트를 기반으로 이미지 생성, Stable Diffusion 사용
• 이미지 변환: 초기 이미지 및 프롬프트가 제공된 이미지 수정, pix2pix stable 확산 지시 사용
• 텍스트를 비디오로 변환: 프롬프트에 따라 짧은 비디오를 생성하고 damo-vilab을 사용하세요

특정 게임플레이의 경우 먼저 HuggingFace의 몇 가지 예를 살펴보겠습니다.

이미지 설명 생성:

<code>agent.run("Caption the following image", image=image)</code>

텍스트 말하기:

<code>agent.run("Read the following text out loud", text=text)</code>

입력: A beaver is swim in the water

출력:

tts_example오디오: 00:0000:01

파일 읽기:

agent.run을 실행하기 전에 대규모 언어 모델 에이전트를 인스턴스화해야 합니다. OpenAI 모델과 BigCode 및 OpenAssistant와 같은 오픈 소스 모델을 지원합니다.

먼저 모든 기본 종속성을 설치하려면 에이전트 추가 기능을 설치하십시오.

<code>pip install transformers[agents]</code>

openAI 모델을 사용하려면 종속성을 설치한 후 "OpenAiAgent" openai를 인스턴스화해야 합니다.

<code>pip install openaifrom transformers import OpenAiAgentagent = OpenAiAgent(model="text-davinci-003", api_key="<your_api_key>")</code>

To BigCode 또는 OpenAssistant를 사용하여 먼저 로그인하여 추론 API에 액세스합니다:

<code>from huggingface_hub import loginlogin("<YOUR_TOKEN>")</code>

그런 다음 에이전트를 인스턴스화합니다:

<code>from transformers import HfAgentStarcoderagent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoder")StarcoderBaseagent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoderbase")OpenAssistantagent = HfAgent(url_endpoint="https://api-inference.huggingface.co/models/OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5")</code>

사용자가 이 모델(또는 다른 모델)에 대한 자체 추론 엔드포인트를 가지고 있는 경우 위 URL 자체 URL 끝점으로 대체될 수 있습니다.

接下来，我们了解一下 Transformers Agents 提供的两个 API：

单次执行

单次执行是在使用智能体的 run () 方法时：

<code>agent.run("Draw me a picture of rivers and lakes.")</code>

它会自动选择适合要执行的任务的工具并适当地执行，可在同一指令中执行一项或多项任务（不过指令越复杂，智能体失败的可能性就越大）。

<code>agent.run("Draw me a picture of the sea then transform the picture to add an island")</code>

每个 run () 操作都是独立的，因此可以针对不同的任务连续运行多次。如果想在执行过程中保持状态或将非文本对象传递给智能体，用户可以通过指定希望智能体使用的变量来实现。例如，用户可以生成第一张河流和湖泊图像，并通过执行以下操作要求模型更新该图片以添加一个岛屿：

<code>picture = agent.run("Generate a picture of rivers and lakes.")updated_picture = agent.run("Transform the image in picture to add an island to it.", picture=picture)</code>

当模型无法理解用户的请求并混合使用工具时，这会很有帮助。一个例子是：

<code>agent.run("Draw me the picture of a capybara swimming in the sea")</code>

在这里，模型可以用两种方式解释：

• 让 text-to-image 水豚在海里游泳
• 或者，生成 text-to-image 水豚，然后使用 image-transformation 工具让它在海里游泳

如果用户想强制执行第一种情况，可以通过将 prompt 作为参数传递给它来实现：

<code>agent.run("Draw me a picture of the prompt", prompt="a capybara swimming in the sea")</code>

基于聊天的执行 

智能体还有一种基于聊天的方法：

<code>agent.chat("Generate a picture of rivers and lakes")</code>

<code>agent.chat ("Transform the picture so that there is a rock in there")</code>

这是一种可以跨指令保持状态时。它更适合实验，但在单个指令上表现更好，而 run () 方法更擅长处理复杂指令。如果用户想传递非文本类型或特定 prompt，该方法也可以接受参数。

위 내용은 한 번의 클릭으로 100,000개 이상의 AI 모델을 제어하고 HuggingFace는 ChatGPT와 유사한 모델을 위한 '앱 스토어'를 만듭니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!