隨著 Gradient 和 Crusoe 將 Llama-3 的「上下文視窗」擴展到 100 萬個代幣，開源長上下文 LLM 的競爭愈演愈烈

在最近的一次合作中，人工智慧新創公司 Gradient 和雲端運算平台 Crusoe 將 Llama-3 模型的「上下文視窗」擴展到 100 萬個代幣。上下文視窗決定了大型語言模型 (LLM) 可以處理的輸入和輸出標記的數量。

VentureBeat Transform 2024 將由 OpenAI、Chevron、Nvidia、Kaiser Permanente 和 Capital One 的領導者組成。這次為期三天的活動將為與會者提供獲得有關 GenAI 的重要見解並擴展他們的網絡的機會。

在最近的一次合作中，Gradient 和 Crusoe 將 Llama-3 模型的上下文視窗擴展到 100 萬個令牌。上下文視窗決定了大型語言模型（LLM）可以處理的輸入和輸出標記的數量。

大型科技公司和前沿人工智慧實驗室正在競相擴展其 LLM 的上下文視窗。在幾個月的時間裡，模型在不到一年的時間內就從支援數千個代幣增加到超過一百萬個。然而，具有很長上下文視窗的法學碩士大多局限於私有模型，例如 Anthropic Claude（200k 代幣）、OpenAI GPT-4（128k 代幣）和 Google Gemini（100 萬代幣）。

創建開源的競賽具有長上下文視窗的模型可以重新洗牌 LLM 市場，並解鎖私有模型無法實現的應用程式。

Gradient 與希望將 LLM 整合到其工作流程中的企業客戶合作。甚至在 Llama-3 推出之前，該公司就在為客戶開發的專案中面臨環境痛點。

新聞來源：https://www.kdj.com/cryptocurrencies-news/articles/race-source-context-llms-heats-gradient-crusoe-extend-llama-context-window-tokens.html

以上是隨著 Gradient 和 Crusoe 將 Llama-3 的「上下文視窗」擴展到 100 萬個代幣，開源長上下文 LLM 的競爭愈演愈烈的詳細內容。更多資訊請關注PHP中文網其他相關文章！