首頁 >科技週邊 >人工智慧 >大型模型開發工具集已經建立!

大型模型開發工具集已經建立!

王林
王林轉載
2023-09-17 14:21:081218瀏覽

需要進行改寫的內容是:作者Richard MacManus

策劃 | 言徵

Web3未能顛覆掉Web2,但新興的大模型開發棧正在讓開發者從「雲原生」時代邁向新的AI技術堆疊。

提示工程師或許不能觸動開發者奔赴大模型的神經,但產品經理或者領導的一句:能不能開發一個“agent”,能不能實現一條“chain”,“使用哪款向量數據庫” ,卻成為了目前各大主流大模型應用公司中驅動技術同學攻克生成AI開發的難點所在。

新興的技術堆疊究竟分為哪幾層?哪裡最棘手?本文將帶領大家一探究竟

1、技術堆疊需要更新了開發者迎來AI工程師時代

在過去的一年裡,出現了一些工具,如LangChain和LlamaIndex,這使得AI應用程式的開發者生態系統開始變得成熟。甚至,現在還有一個術語來形容那些專注於人工智慧開發的人員,也就是「AI工程師」。根據Shawn@swyx Wang的說法,這是「提示工程師」的下一步。他還創建了一張座標圖,形象化了AI工程師在更廣泛的人工智慧生態系統中的位置

大型模型開發工具集已經建立!圖源:swyx

大型語言模型(LLM)是AI工程師的核心技術。 LangChain和LlamaIndex都是擴充和補充LLM的工具,這絕非巧合。但是,對於這類新的開發人員來說,還有什麼其他工具可用呢?

到目前為止,我看到的LLM堆疊的最佳圖表來自創投公司Andreessen Horowitz(a16z)。以下是它對「LLM app stack」的看法:

大型模型開發工具集已經建立!圖源:a16z

2、沒錯,最頂層的還是數據

在LLM技術堆疊中,資料是最重要的組成部分,這一點非常明顯。根據a16z的圖表,數據處於最頂層。在LLM中,"嵌入模型"是非常關鍵的領域,你可以從OpenAI、Cohere、Hugging Face或其他數十種LLM選項中進行選擇,其中包括越來越受歡迎的開源LLM

#在使用LLM之前,還需要建立一個「資料管道」。例如,可以將Databricks和Airflow作為兩個範例,或者可以對資料進行「非結構化」處理。這對於資料的周期性也是適用的,可以幫助企業在將資料輸入自訂LLM之前進行資料的「清理」或簡單整理。像Alation這樣的「資料智慧」公司提供這種類型的服務,聽起來有點像IT技術堆疊中更為人所知的「商業智慧」等工具

資料層的最後一部分是近期非常受歡迎的向量資料庫,用於儲存和處理LLM資料。根據微軟的定義,這是一種將資料儲存為高維向量的資料庫,高維向量是特徵或屬性的數學表示。資料使用嵌入技術儲存為向量

在一次媒體交談中,領先的向量資料庫供應商Pinecone指出,他們的工具經常與資料管道工具(如Databricks)一起使用。在這種情況下,資料通常儲存在其他地方(例如資料湖),然後透過機器學習模型轉換為嵌入式資料。經過處理和分塊後,生成的向量會被發送到Pinecone

3、提示和查詢

接下來的兩個層次可以總結為提示和查詢- 這是人工智慧應用程式與LLM和(可選)其他資料工具介面的交互點。 A16z將LangChain和LlamaIndex定位為“編排框架”,這意味著一旦開發人員了解他們使用的是哪種LLM,就可以利用這些工具

根據a16z的觀點,像LangChain和LlamaIndex這樣的編排框架“抽象掉了許多提示連結的細節”,這意味著在應用程式和LLM之間查詢和管理資料。這個編排過程包括與外部API介面的交互,從向量資料庫中檢索上下文數據,以及在多個LLM呼叫中維護記憶體。 a16z圖表中最有趣的方框是“遊樂場”,其中包括OpenAI、nat.dev和Humanloop

A16z在部落格文章中沒有確切定義,但我們可以推斷,“遊樂場”工具可以幫助開發者施展A16z所說的「提示柔術」。在這些地方,開發人員可以嘗試各種提示技術。

Humanloop是一家英國公司,其平台的一個功能是「協作提示工作區」。它進一步將自己描述為「用於生產LLM功能的完整開發工具包」。因此,基本上,它允許您嘗試LLM的東西,然後將其部署到應用程式中(如果它有效的話)

4、管線作業:LLMOps

目前,大型生產管線的佈局正在逐漸明確。在編排框的右側,有許多操作框,其中包括LLM快取和驗證。此外,還有一系列與LLM相關的雲端服務和API服務,其中包括Hugging Face等開放的API儲存庫,以及OpenAI等專有的API供應商

這可能是我們在“雲端原生”時代習慣的開發人員技術堆疊中最相似的地方,許多DevOps公司將人工智慧添加到了他們的產品清單中,這絕非巧合。 5月,我與Harness執行長Jyoti Bansal進行了交談。 Harness運行一個“軟體交付平台”,專注於CI/CD流程的“CD”部分。

Bansai告訴我,人工智慧可以減輕軟體交付生命週期中涉及的繁瑣和重複的任務,從基於現有功能生成規範到編寫程式碼。此外,他還表示,人工智慧可以自動化程式碼審查、漏洞測試、錯誤修復,甚至為建置和部署創建CI/CD管道。根據我在五月的另一次對話,人工智慧也在改變開發人員的生產力。來自建立自動化工具Gradle的Trisha Gee告訴我,人工智慧可以透過減少重複任務(如編寫樣板程式碼)的時間來加速開發,並使開發人員能夠專注於大局,例如確保程式碼滿足業務需求。

5、Web3涼了,大模型開發堆疊來了

在新興的LLM開發技術堆疊中,我們可以觀察到一系列新的產品類型,例如編排框架(如LangChain和LlamaIndex)、向量資料庫和Humanloop等「遊樂場」平台。所有這些產品都在擴展和/或補充當前時代的核心技術:大型語言模型

一如前幾年Spring Cloud、Kubernetes等雲端原生時代工具的興起。只不過當下,幾乎所有雲端原生時代的大、小、頂流企業都在極力將其工具適應AI工程化,這會對LLM技術棧的未來發展非常有利。

沒錯,這次的大模型儼然“站在巨人的肩膀上”,電腦技術中最好的創新總是建立在以前的基礎上。也許這就是「Web3」革命失敗的原因——與其說它是建立在上一代的基礎上,不如說它試圖篡奪它。

LLM技術堆疊似乎已經做到了,它成為了從雲端開發時代到更新的、基於人工智慧的開發者生態系統的橋樑

參考連結:https:/ /www.php.cn/link/c589c3a8f99401b24b9380e86d939842

#

以上是大型模型開發工具集已經建立!的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:51cto.com。如有侵權,請聯絡admin@php.cn刪除