70B模型秒出1000token，程式碼重寫超越GPT-4o，來自OpenAI投資的程式碼神器Cursor團隊

70B模型，秒出1000token，换算成字符接近4000！

研究人员将Llama3进行了微调并引入加速算法，和原生版本相比，速度足足快出了快了13倍！

不仅是快，在代码重写任务上的表现甚至超越了GPT-4o。

这项成果，来自爆火的AI编程神器Cursor背后团队anysphere，OpenAI也参与过投资。

要知道在以快著称的推理加速框架Groq上，70B Llama3的推理速度也不过每秒300多token。

Cursor这样的速度，可以说是实现了近乎即时的完整代码文件编辑。

有人直呼好家伙，如果把Cursor魔改后的Llama3放到Groq上，是不是每秒能跑出上万token了。

更是有人激动地说，在大模型领域，我们正在消除“延时”这一概念。

引入全新推理加速算法

作者此次设计的加速方法，主要是用来解决一种名为“Fast Apply”的任务，即对代码内容进行快速修改并应用。

首先需要说明的是，虽然说任务最终实现的效果是代码的局部修改，但是实际操作过程中，输出并非是只有变化的内容，而是直接全局重写。

这样做的原因，是团队在预先测试后做出的选择——他们发现，除了Claude-3-Opus，大多数模型在真·局部修改任务上的表现都不理想。

之所以会这样，主要有以下三个原因：

• 首先是直接重写时会输出更多token，使得有更多的前向传递来确定正确的解决方案。
• 其次，模型的训练数据也大部分都是完整代码，对局部修改相对陌生。
• 此外，大模型糟糕的数学运算也无法保证能在输出差异时正确处理行号。

（不过作者认为这仍然是一个有潜力的未来研究方向。）

确定了采用全局重写的方案后，Cursor团队使用了任务相关的数据对Llama3进行了微调。

所采用的数据有真实编辑数据与合成数据两大来源，按照1:4的比例进行了混合。

其中合成数据是指用GPT-4生成代码编辑的建议，然后用其他模型将这些建议“应用”到原始代码上。

为了提高数据集的质量，作者还对小文件、重复文件和无变化样本进行了下采样。

为了评估这些模型的表现，作者让它们处理了450个代码编辑任务（每个都不超过400行），并用Claude3-Opus对输出进行了打分。

最终，作者微调出的70B Llama3模型，表现几乎与Claude3-Opus-diff匹配，并且优于GPT-4-Turbo和GPT-4o。

至此的微调解决了性能问题，但不难看出此时的Llama3速度依然很慢，每秒只能输出不到300个字符（注意是字符，不是词也不是token）。

而让改写工作快到飞起的，还有另一项秘密武器。

针对代码改写任务，Cursor团队专门引入了一种名为预测性编辑（speculative edits）的算法。

这种方式用一种先验算法来对多个后续token进行预测，然后再用本体大模型进行验证，降低了大模型的调用次数，从而减轻了运算量。

這種先驗演算法來自於程式碼任務的一個特點－相較於其他文本，其字詞表較小，且語法結構、縮排規則等擁有較高的確定性，利用先驗知識可以更精準預測未來的token。

這樣的做法也與GPT-4和Meta有著共通之處——

傳統的語言模型推理推理速度較慢的原因，主要是預測下一個token的過程通常是自迴歸的，即模型在產生每個token時，都要考慮先前產生的所有token。

為了降低運算量，以GPT-4為代表的大模型，使用了名為#預測解碼（speculative decoding）的加速演算法，透過小的近似模型事先進行預測，然後再讓本體大模型對預測結果進行驗證。

Cursor和GPT-4的差異就在於，前者的小「模型」是一種更確定的演算法，而後者只是模型規模減小，本質上仍是機率預測。

Meta這邊則是推出了一次性預測多個後續token的演算法，用n個獨立的輸出頭並行預測n個未來token，結果發現在程式設計任務上表現尤其優異，原因是由於程式語言的邏輯結構更嚴謹，知識的內在連結更緊密。

當然，Cursor對這種特點利用更為充分，沒有用注意力頭，而是直接拿更確定的演算法來做多token預測。

最終的結果就是，預測演算法為70B的Llama3帶來了近13倍的速度提升，而評估表現沒有任何損失。

此外，作者也與企業AI模型基礎設施平台fireworks.ai合作，利用其優化的推理引擎和客製化的硬體環境，進一步提高了模型的運行效率。

未來，團隊也計畫進行知識蒸餾，並將預測編輯演算法遷移到更小的8B Llama3，並擴展到更多的程式語言和任務。

同時，對於Cursor團隊研究過但並未採用的真·局部修改（Diff）演算法，作者也計劃進行改進。

One More Thing

在實驗當中，作者不僅以預測演算法加速了Llama3，也實現了對GPT4-Turbo的加速。

不過作者並沒有介紹具體在GPT當中如何實現，而是留做了思考題，還搞了一場「有獎競猜」。

能夠正確解答的人將獲得1個月的Cursor會員；如果能在vllm和TensorRT-LLM中實現預測加速，將分別獲得半年和一年的會員。

如果你覺得有想法的話，不妨挑戰試試（手動狗頭）。

#

以上是70B模型秒出1000token，程式碼重寫超越GPT-4o，來自OpenAI投資的程式碼神器Cursor團隊的詳細內容。更多資訊請關注PHP中文網其他相關文章！