史丹佛「草泥馬」火了：100美元就能比肩GPT-3.5！手機都能運作的那種

一夕之間，大模型界又炸出個big news！

史丹佛發表Alpaca（羊駝，網友口中的「草泥馬」）：

只花100美元，人人都可微調Meta家70億參數的LLaMA大模型，效果竟可比肩1750億參數的GPT-3.5（text-davinci-003）。

而且還是單卡就能運作的那種，連樹莓派、手機都能hold住！

還有一個更絕的「騷操作」。

研究所涉及的資料集，是史丹佛團隊花了不到500美元用OpenAI的API來產生的。

所以整個過程下來，就等同於GPT-3.5自己教出了個旗鼓相當的對手AI。

然後團隊也說，用大多數雲端運算平台去微調訓練好的模型，成本也不到100美元：

複製一個GPT-3.5效果的AI，很便宜，很容易，還很小。

而且團隊還把資料集（秒省500刀）、程式碼統統都給開源了，這下子人人都能去微調個效果炸裂的對話AI：

#專案在GitHub發布才半天時間，便已經狂攬1800 顆星，火爆程度可見一斑。

Django共同開發者甚至對史丹佛的新研究用「驚天大事」來形容：

不僅如此，史丹佛團隊還搞了demo，在線可玩的那種。

話不多說，我們現在就來看看這個「草泥馬」的效果。

比肩davinci-003的草泥馬Aplaca

在史丹佛官方的示範中，他們先小試牛刀地提了一個問題：

什麼是羊駝？它和美洲駝的差別是什麼？

草泥馬Aplaca給出的答案較為乾練：

羊駝是一種小型駱駝科動物，原產於秘魯、玻利維亞、厄瓜多和智利；它比美洲駝小，羊毛更細，也沒有駝峰。

而後又簡單的介紹了二者群居生活的不同。

同樣的問題若是交給ChatGPT（GPT3.5-turbo），則答案就不會像草泥馬Aplaca那般簡潔：

對此，團隊給出的解釋是：

Alpaca的答案通常比ChatGPT短，反映text-davinci-003的輸出較短。

而後團隊示範了讓草泥馬Alpaca寫郵件：

寫一封e-mail祝賀被史丹佛大學錄取的新生，並提到你很高興能親自見到他們。

草泥馬Alpaca對於這個任務也是信手拈來，直接給了一個像模像樣的郵件模板：

難度再次進階，團隊這次提出了讓草泥馬Alpaca寫論文摘要的需求：

寫一篇經過深思熟慮的機器學習論文摘要，證明42是訓練神經網路的最優seed。

草泥馬Alpaca給出的答案從內容上來看，非常符合大多數論文的摘要形式：試圖回答什麼問題、用了什麼方法、結果如何，以及未來展望。

當然，也有迫不及待的網友親自下場試驗，發現草泥馬Alpaca寫程式也是不在話下。

但即使草泥馬Alpaca能夠hold住大部分問題，但這並不代表它沒有缺陷。

例如團隊便示範了一個例子，在回答「坦尚尼亞的首都是哪裡」的問題時，草泥馬Alpaca給出的答案是「達累斯薩拉姆」。

但其實早在1975年就被「多馬」取代了。

除此之外，若是親自體驗過草泥馬Alpaca就會發現，它…巨慢：

對此，有網友認為可能是使用的人太多的原因。

筆記本、手機、樹莓派都能跑

Meta開源的LLaMA大模型，剛發布幾週就被大家安排明白了，單卡片就能運作。

所以理論上，基於LLaMA微調的Alpaca同樣可以輕鬆地在本地部署。

沒有顯示卡也沒關係，蘋果筆記本甚至樹莓派、手機都可以玩。

在蘋果筆記本部署LLaMA的方法來自GitHub專案llama.cpp，使用純C/C 做推理，也特別對ARM晶片做了最佳化。

作者實測，M1晶片的MacBook Pro上即可運行，另外也支援Windows和Linux系統。

還是這個C 移植版本，有人成功在4GB記憶體的樹莓派4上成功運行了LLaMA的 70億參數版本。

雖然速度非常慢，大約10秒產生一個token（也就是一分鐘蹦出4.5個單字）。

更離譜的是僅僅2天之後，有人把LLaMA模型量化壓縮（權重轉換成更低精度的資料格式）後成功在Pixel 6安卓手機上運行（26秒一個token）。

Pixel 6使用Google自研處理器Google Tensor，跑分成績在驍龍865 到888之間，也就是說新一點的手機理論上都能勝任。

微調資料集也開源

###史丹佛團隊微調LLaMA的方法，來自華盛頓大學Yizhong Wang等去年底提出的Self-Instruct。 ###############以175個問題作為種子任務，讓AI自己從中組合出新的問題以及生成配套答案實例，人工過濾掉低質量的，再把新任務添加到任務池裡。 ######所有這些任務，之後可以採用InstructGPT的方法讓AI學會如何遵循人類指令。 ######套娃幾圈下來，相當於讓AI自己來指導自己。 ###############史丹佛版Alpaca，就是花了不到500美元使用OpenAI API產生了5.2萬個這樣的範例搞出來的。 ###

這些數據同樣開源了出來，而且比原論文的數據多樣性更高。

同時也給了產生這些數據的程式碼，也就是說如果有人還嫌不夠，可以再去自行擴充微調數據，繼續提升模型的表現。

微調程式碼也會在HuggingFace官方支援LLaMA後放出。

不過Alpaca最終的模型權重需要Meta許可才能發布，並且繼承了LLaMA的非商用開源協議，禁止任何商業用途。

並且由於微調資料使用了OpenAI的API，根據使用條款也禁止用來開發與OpenAI形成競爭的模型。

One More Thing

還記得AI繪畫的發展歷程嗎？

2022年上半年還只是話題熱度高，8月份Stable Diffusion的開源讓成本下降到可用，並由此產生爆炸式的工具創新，讓AI繪畫真正進入各類工作流程。

語言模型的成本，如今也下降到了個人電子設備可用的程度。

最後還是由Django框架創始人Simon Willison喊出：

大語言模型的Stable Diffusion時刻到了。

以上是史丹佛「草泥馬」火了：100美元就能比肩GPT-3.5！手機都能運作的那種的詳細內容。更多資訊請關注PHP中文網其他相關文章！