随着 Gradient 和 Crusoe 将 Llama-3 的“上下文窗口”扩展到 100 万个代币，开源长上下文 LLM 的竞争愈演愈烈

在最近的一次合作中，人工智能初创公司 Gradient 和云计算平台 Crusoe 将 Llama-3 模型的“上下文窗口”扩展到 100 万个代币。上下文窗口决定了大型语言模型 (LLM) 可以处理的输入和输出标记的数量。

VentureBeat Transform 2024 将由 OpenAI、Chevron、Nvidia、Kaiser Permanente 和 Capital One 的领导者组成。这次为期三天的活动将为与会者提供获得有关 GenAI 的重要见解并扩展他们的网络的机会。

在最近的一次合作中，Gradient 和 Crusoe 将 Llama-3 模型的上下文窗口扩展到 100 万个令牌。上下文窗口决定了大型语言模型（LLM）可以处理的输入和输出标记的数量。

大型科技公司和前沿人工智能实验室正在竞相扩展其 LLM 的上下文窗口。在几个月的时间里，模型在不到一年的时间内就从支持几千个代币增加到超过一百万个。然而，具有很长上下文窗口的法学硕士大多局限于私有模型，例如 Anthropic Claude（200k 代币）、OpenAI GPT-4（128k 代币）和 Google Gemini（100 万代币）。

创建开源的竞赛具有长上下文窗口的模型可以重新洗牌 LLM 市场，并解锁私有模型无法实现的应用程序。

Gradient 与希望将 LLM 集成到其工作流程中的企业客户合作。甚至在 Llama-3 推出之前，该公司就在为客户开发的项目中面临着环境痛点。

新闻来源：https://www.kdj.com/cryptocurrencies-news/articles/race-source-context-llms-heats-gradient-crusoe-extend-llama-context-window-tokens.html

以上是随着 Gradient 和 Crusoe 将 Llama-3 的“上下文窗口”扩展到 100 万个代币，开源长上下文 LLM 的竞争愈演愈烈的详细内容。更多信息请关注PHP中文网其他相关文章！