Llama-3 剛發布沒多久，競爭對手就來了，而且是可以在手機上運行的小體量模型。 新模型有三個版本，其中Phi-3 mini 是一個擁有38 億參數的語言模型，經過3.3 兆token 的訓練，其整體表現在學術基準和內部測驗上成績優異。 儘管 Phi-3 mini 被優化至可部署在手機上，但它的性能可以與 Mixtral 8x7B 和 GPT-3.5 等模型相媲美。微軟表示，創新主要在於用於訓練的資料集。 同時，Phi-3 與 Llama-2 使用相同的架構，方便開源社群在其基礎上開發。 先前，微軟的Phi 系列模型曾經引發了人們的熱議，去年6 月，微軟發布了《Textbooks Are All You Need》論文，用規模僅為7B token 的「教科書品質」資料訓練1.3B 參數的模型phi-1，實現了良好的效能。 去年 9 月，微軟進一步探索這條道路，讓 1.3B 參數的 Transformer 架構語言模型 Phi-1.5 顯示出強大的程式設計能力。 去年底，微軟提出的Phi-2 具備了一定的常識能力，在2.7B 的量級上多個基準測試成績超過Llama2 7B、Llama2 13B、 Mistral 7B 等一眾先進模型。 Phi-3 技術報告：https://arxiv.org/abs/2404.14219#剛剛提出的phi-3-mini 是38 億個在3.3 兆個token 上訓練的參數語言模型。實驗測試表明，phi-3-mini 的整體性能可與 Mixtral 8x7B 和 GPT-3.5 等模型相媲美，例如 phi -3-mini 在 MMLU 上達到了 69%，在 MT-bench 上達到了 8.38。 微軟先前對 phi 系列模型的研究表明，高品質的「小數據」能夠讓較小的模型具備良好的性能。 phi-3-mini 在嚴格過濾的網路資料和合成資料（類似於 phi-2）上進行訓練，並進一步調整了穩健性、安全性和聊天格式。 此外，研究團隊也提供了針對4.8T token 訓練的7B 和14B 模型的初始參數擴展結果，稱為phi-3-small 和phi-3- medium，兩者都比phi-3-mini 能力更強。 #在標準開源基準測試中，phi-3-mini與phi-2 、Mistral-7b-v0.1、Mixtral-8x7B、Gemma 7B 、Llama-3-instruct8B 和GPT-3.5 的比較結果如下表所示，為了確保具有可比性，所有結果都是透過完全相同的pipeline 得到的。 #Phi-3-mini 是根據微軟負責任人工智慧原則開發的。確保大模型安全的整體方法包括訓練後的安全調整、紅隊（red-teaming）測試、自動化測試和數十個 RAI 危害類別的評估。微軟利用 [BSA 24] 啟發修改的有用和無害偏好資料集 [BJN 22、JLD 23] 和多個內部產生的資料集來解決安全性後訓練（post-training）的 RAI 危害類別。微軟一個獨立的 red team 反覆檢查了 phi-3-mini，以進一步確定後訓練過程中需要改進的領域。 根據 red team 的回饋，研究團隊整理了額外的資料集從而完善後訓練資料集。此過程導致有害回應率顯著降低，如圖 3 所示。 下表顯示了phi-3-mini-4k 和phi-3-mini-128k 與phi-2、Mistral-7B-v0.1、Gemma 7B 的內部多輪對話RAI 基準測試結果。此基準測試利用 GPT-4 模擬五個不同類別的多輪對話並評估模型響應。 #微軟表示，就LLM 能力而言，雖然phi-3 -mini 模型達到了與大型模型相似的語言理解和推理能力水平，但它在某些任務上仍然受到其規模的根本限制。例如，該模型根本沒有能力儲存太多「事實知識」，這可以從 TriviaQA 上的低評分中看出。不過，研究人員相信這些問題可以透過搜尋引擎增強的方式來解決。 參考內容：#https://news.ycombinator.com/item?id= 40127806以上是微軟發表Phi-3，效能超Llama-3，可手機端運行的詳細內容。更多資訊請關注PHP中文網其他相關文章！
