微軟超強小模型引發熱議：探討教科書級數據的巨大作用

隨著大模型掀起新一輪 AI 熱潮，人們開始思考：大模型的強大能力來自什麼？

目前，大模型一直在由不斷增加的「大數據」來推動。 「大模型 大數據」似乎已經成為建構模型的標準範式。但隨著模型規模和資料量的不斷增長，算力的需求會迅速膨脹。一些研究者嘗試探索新思路。 重寫後的內容： 目前，大型模型一直在依靠不斷增加的「大數據」來推動。 「大型模型 大數據」似乎已成為建構模型的標準範式。但隨著模型規模和資料量的不斷增長，算力需求會迅速膨脹。一些研究者正在嘗試探索新的想法

微軟在6月發布了一篇名為《只需教科書》的論文，使用了一個只有7B個標記的資料集來訓練了一個包含1.3B個參數的模型，稱為phi-1。儘管資料集和模型大小相對於競爭對手來說小了幾個數量級，但phi-1在HumanEval測試中的一次通過率達到了50.6%，在MBPP測試中達到了55.5%

#phi-1 證明高品質的「小數據」能讓模型具備良好的效能。最近，微軟又發表了論文《Textbooks Are All You Need II: phi-1.5 technical report》，對高品質「小數據」的潛力做了進一步研究。

論文網址：https://arxiv.org/abs/2309.05463

模型簡介

架構

研究團隊使用了phi-1的研究方法，並將研究的重點放在自然語言常識推理任務上，發展了一個擁有1.3B參數的Transformer架構語言模型phi-1.5。 phi-1.5的架構與phi-1完全相同，有24層，32個頭，每個頭的維度為64，並且使用旋轉維度為32的旋轉嵌入，上下文長度為2048

#此外，研究也使用flash-attention 進行訓練加速，並使用codegen-mono 的tokenizer。

#需要重寫的內容是：訓練資料

phi -1.5 的需要進行重寫的內容是：訓練資料是由phi-1 的需要進行重寫的內容是：訓練資料（7B token）和新創建的「教科書品質」資料（大約20B token）組成的。其中，新創建的「教科書品質」數據旨在讓模型掌握常識推理，研究團隊精心挑選了 20K 個主題來產生新數據。

值得注意的是，為了探討網路資料（LLM 常用）的重要性，研究也建構了phi-1.5-web-only 和phi-1.5-web 兩個模型。

研究團隊表示：創建強大且全面的資料集需要的不僅是原始運算能力，還需要複雜的迭代、有效的主題選擇，以及對知識的深入了解，具備這些要素，才能確保資料的品質和多樣性。

實驗結果

研究對於語言理解任務進行了評估，使用了多個資料集，包括PIQA、Hellaswag、OpenbookQA、 SQUAD和MMLU。評估結果如表3所示，phi-1.5的表現可以與體積大5倍的模型相媲美

在常識推理基准上的測驗結果如下表所示：

在更複雜的推理任務中，如小學數學和基礎編碼任務，phi-1.5的表現超過了大多數LLM

研究團隊認為，phi-1.5 再次證明了高品質「小數據」的力量。

質疑與討論

或許是因為「大模型大數據」的概念太深入人心，這項研究遭到了機器學習社群一些研究人員的質疑，甚至有人懷疑phi-1.5 直接在測試基準資料集上訓練了。

網友Susan Zhang進行了一系列驗證，並指出：「phi-1.5能夠對GSM8K資料集中的原問題給出完全正確的回答，但只要稍微修改一下格式（例如換行），phi-1.5就不會回答了。」

還有修改問題中的數據，phi-1.5 在解答問題的過程中就會出現「幻覺」。例如，在一個點餐問題中，只修改了「披薩的價格」，phi-1.5 的答案就出現了錯誤。

#並且，phi-1.5 似乎「記住了」最終答案，即使在修改數據的情況下該答案已經是錯誤的。

對此，一位論文作者Ronan Eldan迅速作出了回應，對上述網友測試中出現的問題進行了解釋和反駁：

但該網友再次闡明其觀點：測試說明phi-1.5 的回答對prompt 的格式是非常「脆弱」的，並對作者的回應提出質疑：

###############論文的第一作者李元智回應：「雖然phi-1.5在穩健性方面確實不如GPT-4，但『脆弱』並不是準確的術語。事實上，對於任何模型來說，pass@k準確率都會比pass@1要高得多（所以模型的正確性是偶然的）######## #############在看到這些質疑和討論後，網友們紛紛表示：「最簡單的回應方式就是公開合成資料集。 」#####################你對此有什麼看法？######

以上是微軟超強小模型引發熱議：探討教科書級數據的巨大作用的詳細內容。更多資訊請關注PHP中文網其他相關文章！