小札官宣Code Llama重量級更新，新增70B版本，但仍有能力限制

功能更強大的 Code Llama 70B 模型來了。

今天，Meta 正式發布 Code Llama 70B，這是 Code Llama 系列有史以來最大、性能最好的型號。

我們正在開源改進版的 Code Llama，其中包含一個更大的 70B 參數模型。編寫和編輯程式碼已經成為現代人工智慧模型最為重要的用途之一。事實證明，對於人工智慧模型來說，具備編寫程式碼的能力是更加嚴謹和合理地處理其他領域資訊的關鍵。對於這一進展，我感到非常自豪，並期待將其納入 Llama 3 和未來的模型中。

Code Llama 70B 提供與先前發布的Code Llama 型號相同的三個版本：

• CodeLlama - 70B，基礎程式碼模型；
• CodeLlama - 70B - Python，專門針對Python 的70B；
• #Code Llama - 70B - Instruct 70B，它針對理解自然語言指令進行了微調。

Code Llama 最初是 Meta 在 2023 年 8 月推出的工具，免費用於研究和商業用途。

根據Meta AI 部落格文章的介紹，Code Llama 70B 可比其他版本處理更多查詢，這表示開發人員可以在程式設計時向其提供更多提示，並且可以更加準確。

在HumanEval 基準測試中，Code Llama 70B 的準確率達到了53%，優於GPT-3.5 的48.1%，進一步接近OpenAI 論文報告中GPT-4的67%。

Code Llama 基於 Llama 2 構建，可協助開發人員根據提示建立程式碼並對人工編寫的程式碼進行偵錯。發布之初，Meta 表示，Code Llama 的開源協議與 Llama 2 一樣，免費用於研究以及商用目的，Code Llama 70B 也是如此。

當時 Code Llama 系列模型有三個版本，參數量分別為 7B、13B 和 34B。並且支援多種程式語言，包括 Python、C 、Java、PHP、Typescript (Javascript)、C# 和 Bash。

Meta 提供的Code Llama 版本包含：

• Code Llama，基礎程式碼模型;
• Code Llama-Python，Python 微調版；
• Code Llama-Instruct，自然語言指令微調版。

其中，後面兩個模型專注於特定的編碼語言。現在這個模型大家族又加入了 Code Llama 70B，在程式碼任務上又提升了一個階梯。

Code Llama 70B 是在 1TB 的程式碼和程式碼相關資料上訓練而成，託管在程式碼儲存庫 Hugging Face 上。

Meta 表示，其較大的型號 34B 和 70B 模型可傳回最佳結果並提供更好的編碼協助。

但在開發者的使用體驗中，Code Llama 70B 仍然存在明顯不足。

例如有人發現，對於產生質數的請求，Code Llama 70B 無法完成：

############################################################################### ##############也有人說，這個限制是為了避免某些不好的用途，例如產生非法質數。非法質數可以用來表示一些禁止擁有或散佈的資料，而依照美國的數位千禧年著作權法，散佈這類程式是非法的。 ############

^{參考連結：https://www.theverge.com/2024/1/29/24055011/meta-llama2-code-generator-generative-ai}

#相關閱讀

• 發布一天，Code Llama 程式碼能力突飛猛進，微調版HumanEval 得分超GPT-4
• 官方的Code Llama 開源：免費商用，神秘版本接近GPT-4

以上是小札官宣Code Llama重量級更新，新增70B版本，但仍有能力限制的詳細內容。更多資訊請關注PHP中文網其他相關文章！