一鍵控制10萬多個AI模型，HuggingFace為類ChatGPT模型們做了個「APP Store」

從聊天到程式設計再到支援各種插件，強大的 ChatGPT 早就不是一個簡單的對話助手，而是朝著 AI 界的「管理層」不斷前進。

3 月 23 號，OpenAI 宣布 ChatGPT 開始支援各類第三方插件，例如著名的理工科神器 Wolfram Alpha。藉由此神器，原本雞兔同籠都算不準的 ChatGPT 一躍成為理工科尖子生。 Twitter 上許多人評論說，ChatGPT 插件的推出看起來有點像 2008 年 iPhone App Store 的推出。這也意味著 AI 聊天機器人正在進入一個新的進化階段 ——「meta app」階段。

緊接著，4 月初，浙江大學和微軟亞研的研究者提出了一種名為「HuggingGPT ”的重要方法，可以看做是上述路線的大規模演示。 HuggingGPT 讓 ChatGPT 充當控制器（可以理解為管理層），由它來管理其他大量的 AI 模型，從而解決一些複雜的 AI 任務。具體來說，HuggingGPT 在收到用戶請求時使用 ChatGPT 進行任務規劃，根據 HuggingFace 中可用的功能描述選擇模型，用選定的 AI 模型執行每個子任務，並根據執行結果匯總回應。

這種做法可以彌補當前大模型的許多不足，例如可處理的模態有限，在某些方面比不上專業模型等。

雖然調度的是 HuggingFace 的模型，但 HuggingGPT 畢竟不是 HuggingFace 官方製作。剛剛，HuggingFace 終於出手了。

和 HuggingGPT 概念類似，他們推出了一個新的 API—HuggingFace Transformers Agents。透過 Transformers Agents，你可以控制 10 萬多個 Hugging Face 模型完成各種多模態任務。

例如在下面這個例子中，你想讓 Transformers Agents 大聲解釋圖片上描繪了什麼內容。它會試著理解你的指令（Read out loud thecontent of the image），然後將其轉換為 prompt，並挑選合適的模型、工具來完成你指定的任務。

英偉達AI 科學家Jim Fan 評論說：這一天終於來了，這是邁向「Everything APP」（萬事通APP）的重要一步。

不過也有人說，這和AutoGPT 的自動迭代還不一樣，它更像是省掉了寫prompt 並手動指定工具這些步驟，距離萬事通APP 還為時過早。

Transformers Agents 位址：https://huggingface.co/docs/transformers/transformers_agents

Transformers Agents 怎麼用？

在發布的同時，HuggingFace 就放出了Colab 位址，任何人都可以上手一試：

https://huggingface. co/docs/transformers/en/transformers_agents

#簡而言之，它在transformers 之上提供了一個自然語言API：首先定義一套策劃的工具，並設計了一個智能體來解釋自然語言和使用這些工具。

而且，Transformers Agents 在設計上是可擴充的。

團隊已經確定了一組可以授權給智能體的工具，以下是已整合的工具清單：

• 文件問答：給定一個圖像格式的文件（例如PDF），回答關於該文件的問題(Donut)
• 文字問答：給定一段長文本和一個問題，回答文本中的問題（Flan-T5 )
• 無條件的圖像說明：為圖像添加說明(BLIP)
• 圖片問答：給定一張圖片，回答關於這張圖片的問題（VILT）
• 影像分割：給定影像和prompt，輸出該prompt 的分割遮罩（CLIPSeg）
• 語音轉文字：給定一個人說話的錄音，將語音轉錄成文本(Whisper)
• #文字到語音：將文字轉換為語音（SpeechT5）
• #零樣本文字分類：給定文字和標籤列表，確定文字與哪個標籤最對應( BART )
• 文字摘要：用一個或幾個句子來概括一個長文本（BART）
• 翻譯：將文字翻譯成給定的語言（NLLB）

這些工具整合在transformers 中，也可以手動使用：

<code>from transformers import load_tooltool = load_tool("text-to-speech")audio = tool("This is a text to speech tool")</code>

使用者也可以將工具的程式碼推送到Hugging Face Space 或模型儲存庫，以便直接透過智能體來利用該工具，例如：

• 文字下載器：從web URL 下載文字
• Text to image : 根據prompt 產生圖片，利用Stable Diffusion
• 映像轉換：在給定初始影像和prompt 的情況下修改影像，利用instruct pix2pix stable diffusion
• Text to video : 根據prompt 生成小視頻，利用damo-vilab

具體玩法的話，我們先看幾個HuggingFace 的示例：

##生成圖像描述：

<code>agent.run("Caption the following image", image=image)</code>

#朗讀文字：

<code>agent.run("Read the following text out loud", text=text)</code>

輸入：A beaver is swimming in the water

輸出：

tts_example音訊：00:0000:01

讀取檔案：

在執行agent.run, 之前，需要先實例化一個大語言模型智慧體。這裡支援 OpenAI 的模型以及 BigCode、OpenAssistant 等開源模型。

首先，請安裝agents 附加元件以安裝所有預設依賴項：

<code>pip install transformers[agents]</code>

要使用openAI 模型，需要在安裝依賴項後實例化一個「OpenAiAgent」 openai：

<code>pip install openaifrom transformers import OpenAiAgentagent = OpenAiAgent(model="text-davinci-003", api_key="<your_api_key>")</your_api_key></code>

要使用BigCode 或OpenAssistant，首先登入以存取推理API：

<code>from huggingface_hub import loginlogin("<your_token>")</your_token></code>

然後，實例化智能體：

<code>from transformers import HfAgentStarcoderagent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoder")StarcoderBaseagent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoderbase")OpenAssistantagent = HfAgent(url_endpoint="https://api-inference.huggingface.co/models/OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5")</code>

如果使用者對此模型（或另一個模型）有自己的推理端點，可以將上面的URL 替換為自己的URL 端點。

接下来，我们了解一下 Transformers Agents 提供的两个 API：

单次执行

单次执行是在使用智能体的 run () 方法时：

<code>agent.run("Draw me a picture of rivers and lakes.")</code>

它会自动选择适合要执行的任务的工具并适当地执行，可在同一指令中执行一项或多项任务（不过指令越复杂，智能体失败的可能性就越大）。

<code>agent.run("Draw me a picture of the sea then transform the picture to add an island")</code>

每个 run () 操作都是独立的，因此可以针对不同的任务连续运行多次。如果想在执行过程中保持状态或将非文本对象传递给智能体，用户可以通过指定希望智能体使用的变量来实现。例如，用户可以生成第一张河流和湖泊图像，并通过执行以下操作要求模型更新该图片以添加一个岛屿：

<code>picture = agent.run("Generate a picture of rivers and lakes.")updated_picture = agent.run("Transform the image in picture to add an island to it.", picture=picture)</code>

当模型无法理解用户的请求并混合使用工具时，这会很有帮助。一个例子是：

<code>agent.run("Draw me the picture of a capybara swimming in the sea")</code>

在这里，模型可以用两种方式解释：

• 让 text-to-image 水豚在海里游泳
• 或者，生成 text-to-image 水豚，然后使用 image-transformation 工具让它在海里游泳

如果用户想强制执行第一种情况，可以通过将 prompt 作为参数传递给它来实现：

<code>agent.run("Draw me a picture of the prompt", prompt="a capybara swimming in the sea")</code>

基于聊天的执行 

智能体还有一种基于聊天的方法：

<code>agent.chat("Generate a picture of rivers and lakes")</code>

<code>agent.chat ("Transform the picture so that there is a rock in there")</code>

这是一种可以跨指令保持状态时。它更适合实验，但在单个指令上表现更好，而 run () 方法更擅长处理复杂指令。如果用户想传递非文本类型或特定 prompt，该方法也可以接受参数。

以上是一鍵控制10萬多個AI模型，HuggingFace為類ChatGPT模型們做了個「APP Store」的詳細內容。更多資訊請關注PHP中文網其他相關文章！