ModelScope-Agent 提供了一個通用的、可自訂的 Agent 框架,方便使用者打造屬於自己的智慧體。該框架基於開源的大語言模型(LLMs) 作為核心,並提供了一個用戶友好的系統庫,具有以下特點:
下面先展示一些基於ModelScope-Agent 實作的ModelScopeGPT (魔搭GPT)的能力:
需要重寫的內容是:1. 在單步驟工具呼叫中,Agent 需要選擇適當的工具並產生請求,然後根據執行結果將結果傳回給使用者
2. 在多步驟工具呼叫中,Agent 需要進行多個工具的規劃、排程、執行和回應
3. 多輪對話中工具調用,Agent 需要從歷史對話中挖掘需要傳給工具的參數。
基於檢索工具的社群知識問答平台
ModelScope-Agent 框架的設計原理是什麼?
ModelScope-Agent 是一個通用的、可自訂的Agent 框架,用於實際應用程式開發,其基於開源的大語言模型(LLMs) 作為核心,包含記憶控制、工具使用等模組。開源 LLM 主要負責任務規劃、調度以及回復生成;記憶控制模組,主要包含知識檢索以及 prompt (提示詞)管理;工具使用模組,包含工具庫以及工具檢索和工具可自訂化。 ModelScope-Agent 系統架構如下:
#ModelScope-Agent 框架是如何執行的
ModelScope-Agent 的工作原理是,把目標拆分成更小的任務,然後一項一項完成。例如,當使用者要求「寫一個簡短故事,並用女聲朗讀,同時配個影片」時,ModelScope-Agent 會展示整個任務規劃過程,先透過工具檢索檢索相關的語音合成工具,然後由開源LLM 進行規劃調度, 首先生成一段故事,然後調用對應語音生成模型,生成語音並用女聲念出,展示給用戶,最後再調用視頻生成模型,針對生成的故事內容生成一段視頻;這裡全程不需要用戶配置當前請求可能需要呼叫到的工具,大大提升了使用便利性。
開源大模型訓練框架:全新的訓練方法、資料和模型開源化#
除了 ModelScope-Agent 框架之外,研究團隊也提出了新的工具指令微調訓練方法:Weighted LM,透過對工具指令呼叫部分 token 進行 loss 加權,提升開源大模型工具指令呼叫能力。
研究團隊也發布了名為MSAgent-Bench的高品質中英資料集,其中包含60萬個具備多輪多步工具指令調用能力的樣本。基於這個資料集,研究團隊採用了新的訓練方法,對Qwen-7B模型進行了最佳化,並得到了一個名為MSAgent-Qwen-7B的模型。相關的資料集和模型已經在開源平台上公開發布
重寫後的內容:整合工具清單
目前ModelScope-Agent 已經預設存取了自然語言處理、語音、視覺、多模態等眾多AI 模型,也預設整合了知識檢索、API 檢索等開源方案。
##ModelScope-Agent github 也提供了保母級實作demo 頁,讓小白新手也能建構屬於自己的智能體。
請下載示範筆記本:https://github.com/modelscope/modelscope-agent/blob/master/demo/demo_qwen_agent.ipynb
#1、先拉取ModelScope-Agent 程式碼並安裝相關依賴
2、需要設定config 文件,包括ModelScope token 和建置API 工具檢索引擎
3、樞大模型啟動
## 4、代理程式建構和使用,依賴先前建構好的大模型,工具列表,工具檢索和記憶模組註冊新工具實踐
需要重新寫的內容是:2 、配置環境和大模型部署參考前一章節的2、3
3、將新註冊的工具建構成列表,並添加到Agent的建置過程中
4、使用agen.run()方法,輸入查詢(query)來測試工具是否能夠成功呼叫對應的API
5、代理程式會自動呼叫對應的API,並將執行結果傳回主模型,主模型再回傳回應
####################### #One More Thing############開發者可以參考上述教學很容易建立屬於自己的智能體,ModelScope-Agent 依托魔搭社區,未來也會適配更多新增的開源大模型,推出更多基於ModelScope-Agent 開發的應用,如客戶服務Agent、個人助理Agent、story Agent、Motion Agent、multi-Agent(多模態Agent) 等等。 ######
以上是有了ModelScope-Agent,小白也能打造專屬智能體,附保母等級教學的詳細內容。更多資訊請關注PHP中文網其他相關文章!