英偉達、Hugging Face和ServiceNow發布用於程式碼生成的新StarCoder2 LLM

這些模型目前有三種不同的大小，已經在600多種程式語言(包括低資源語言)上進行了培訓，以幫助企業在其開發工作流程中加速各種與程式碼相關的任務，它們是在開放的BigCode專案下開發的，該專案是ServiceNow和Huging Face共同發起的，以確保負責任地開發和使用大型程式碼語言模型，在開放負責任的AI許可證下，它們是免費提供的。

StarCoder2的推出證實了開放的科學合作和負責任的AI實踐與道德數據供應鏈的結合可以帶來巨大的力量。 ServiceNow的StarCoder2開發團隊負責人和BigCode的共同負責人Harm de Vries在聲明中指出，新的開放存取模式不僅改善了先前的GenAI效能，也​​提升了開發人員的生產效率，讓他們更容易取得程式碼產生AI的好處，從而使得任何規模的企業都能更輕鬆地實現其全部業務潛力。

StarCoder2：滿足三種不同需求的三種型號

BigCode的最新產品不僅僅是StarCoder LLM的升級，它引入了三種不同規模的模型：3B、7B和15B ，並且擴展了支援的程式語言達到了619種。在新一代產品中，被稱為Stack的模型訓練資料量比之前增加了將近七倍。這意味著BigCode不斷進化，為開發者提供更強大和全面的工具和資源，以幫助他們在各種程式設計任務中取得成功。這種創新精神和不斷改進的態度使得BigCode成為開發者們信賴和依賴的首選平台，為他們提供了更廣泛的學習和應用機會。 BigCode的發展展示了對技術和程式設計領域的持續投入和關注，為整個行業帶來了新的可能性和機會。

BigCode社群採用了最新一代的訓練技術，以確保模型能夠理解和產生低資源程式語言，例如COBOL、數學和程式原始碼。這種方法對於幫助使用者更好地掌握多樣化的程式語言和程式碼討論至關重要。

30億參數模型採用了ServiceNow的Fast LLM框架進行訓練，而7B模型則是基於Hugging Face的Nantron框架開發的。這兩種模型都旨在為文字到程式碼和文字到工作流程生成提供高效能，同時又需要較少的運算資源。

同時，使用端到端的英偉達 Nemo雲端本地框架和英偉達 TensorRT-LLM軟體對最大的150億參數模型進行了訓練和最佳化。

儘管這些機型在不同編碼場景下的表現仍有待觀察，但兩家公司注意到最小的3B模型的性能與最初的15B StarCoder LLM相當。

根據他們的需求，企業團隊可以使用這些模型中的任何一個，並根據不同用例的企業資料對其進行進一步的微調，這可以是任何特殊任務，從應用程式原始碼生成、工作流程產生和文字摘要到程式碼完成、高級程式碼摘要和程式碼片段檢索。

兩家公司強調，這些模型經過更廣泛和深入的培訓，能夠提供更具上下文感知性和準確性的預測。這種高度訓練的模型能夠更好地理解儲存庫的背景資訊。最終，這些努力為加速開發工作鋪平了道路，使工程師和開發人員能夠將更多精力集中在更關鍵的任務上。

英偉達應用研究副總裁Jonathan Cohen在新聞聲明中表示：“由於每個軟體生態系統都有專有的程式語言，程式碼LLM可以推動每個行業在效率和創新方面的突破。”

“英偉達與ServiceNow和Huging Face的合作引入了安全、負責任的開發模式，並支持更廣泛地接觸負責任的GenAI，我們希望這將使全球社會受益”，他補充道。

如何開始使用StarCoder2?

如前所述，StarCoder2系列中的所有模型都是在Open Rail-M許可證下提供的，可以免版稅存取和使用。支援程式碼可以在BigCode專案的GitHub庫中找到。作為另一種選擇，團隊也可以下載並使用擁抱臉的所有三個模型。

也就是說，由英偉達培訓的15B模型也將出現在英偉達 AI Foundation上，使開發人員能夠直接從他們的瀏覽器或透過API端點進行試驗。

雖然StarCoder不是AI驅動的程式碼產生領域的第一個進入者，但該專案的最新一代帶來的廣泛選擇肯定允許企業在應用程式開發中利用LLMS，同時還可以節省運算。

該領域的其他知名參與者包括OpenAI和亞馬遜，前者提供Codex，為GitHub聯合試點服務提供支持，而後者提供CodeWhisper工具，還有來自Replit和Codenium的激烈競爭，Replit在Hugging Face上有幾個小型AI編碼模型，Codenium最近以5億美元的估值獲得了6500萬美元的B輪融資。

#

以上是英偉達、Hugging Face和ServiceNow發布用於程式碼生成的新StarCoder2 LLM的詳細內容。更多資訊請關注PHP中文網其他相關文章！