選擇GPT-3.5、還是喬丹Llama 2等開源模型？綜合比較後答案有了

透過對 GPT-3.5 和 Llama 2 在不同任務上的參數對比，我們可以得知在什麼情況下選擇 GPT-3.5，在什麼情況下選擇 Llama 2 或其他模型。

顯然，對 GPT-3.5 進行的扭力是非常昂貴的。本文透過實驗來驗證手動扭矩模型是否可以接近 GPT-3.5 的性能，而只是成本 GPT-3.5 的一部分。有趣的是，論文確實做到了。

在SQL任務和函數表示任務上的結果對比，論文發現：

• GPT-3.5在兩個資料集（Spider資料集的子集以及Viggo函數表示資料集）上都比經過Lora的Code Llama 34B表現輕微好一點。

• GPT-3.5 的訓練成本高出4-6倍，部署成本也更高。

本實驗的結論之一是GPT-3.5適用於初始驗證工作，但之後，像Llama 2這樣的模型可能是最佳選擇，簡單總結一下：

• 如果您希望驗證是解決特定任務/資料集的正確方法，又或想要一個完全託管的環境，那麼調整GPT-3.5。

• 如果想省錢、想從資料集中獲取最大效能、想要在訓練和部署基礎設施方面具有更大的靈活性、又想要或保留一些數據，那麼就消耗類似Llama 2 的這種開源模型。

接下來我們來看看，論文是如何實現的。

下圖為 Code Llama 34B 和 GPT-3.5 在 SQL 任務和函數表示任務上訓練至收斂的效能。結果表明，GPT-3.5 在這兩個任務上都取得了更好的準確率。

在硬體使用上，實驗使用的是A40 GPU，約合0.475美元。

另外，實驗列舉了兩個非常適合進行可怕的資料集，Spider 資料集的子集 Viggo 函數表示資料集。

為了與 GPT-3.5 模型進行公平的比較，實驗對 Llama 進行了最少的超參數。

本文實驗的兩個關鍵選擇是使用 Code Llama 34B 和 Lora 參數，而不是全參數參數。

實驗中很大程度上遵循了Lora超參數配置的規則，Lora負載如下：

SQL提示範例如下：

                                   ^{SQL#中顯示，完整提示時請參閱原始部落格          SQL不同部分中展示，完整提示請參閱原始部落格「原文}#」#Spi#der##pder#ad#der#’形式如下

department : Department_ID [ INT ] primary_key Name [ TEXT ] Creation [ TEXT ] Ranking [ INT ] Budget_in_Billions [ INT ] Num_Employees [ INT ] head : head_ID [ INT ] primary_key name [ TEXT ] born_state [ TEXT ] age [ INT ] management : department_ID [ INT ] primary_key management.department_ID = department.Department_ID head_ID [ INT ] management.head_ID = head.head_ID temporary_acting [ TEXT ]

實驗選擇使用sql-create-context資料集和Spider資料集的交集。為模型提供的上下文是一個SQL建立命令，如下所示：

CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)

SQL任務的程式碼和資料位址：https://github.com/samlhuillier/spider-sql- finetune

函數表示提示的範例如下：

                          

^{##輸出如下：}

verify_attribute(name[Little Big Adventure], rating[average], has_multiplayer[no], platforms[PlayStation])

評估階段，兩個實驗很快就收斂了：

#函數表示任務程式碼和資料位址：https://github.com/samlhuillier/viggo-finetune

了解更多內容，請查看原始部落格。

原文連結：

#https://ragntune.com/blog/gpt3.5-vs-llama2 -finetuning?continueFlag=11fc7786e20d498fc4daa79c5923e198

#

以上是選擇GPT-3.5、還是喬丹Llama 2等開源模型？綜合比較後答案有了的詳細內容。更多資訊請關注PHP中文網其他相關文章！