La course aux LLM open source à contexte long s'intensifie alors que Gradient et Crusoe étendent la « fenêtre contextuelle » de Llama-3 à 1 million de jetons

Dans une récente collaboration, la startup d'IA Gradient et la plateforme de calcul cloud Crusoe ont étendu la « fenêtre contextuelle » des modèles Llama-3 à 1 million de jetons. La fenêtre contextuelle détermine le nombre de jetons d'entrée et de sortie qu'un grand modèle de langage (LLM) peut traiter.

VentureBeat Transform 2024 mettra en vedette des dirigeants d'OpenAI, Chevron, Nvidia, Kaiser Permanente et Capital One. Cet événement de trois jours offrira aux participants l'opportunité d'acquérir des informations essentielles sur GenAI et d'élargir leur réseau.

Dans une récente collaboration, Gradient et Crusoe ont étendu la fenêtre contextuelle des modèles Llama-3 à 1 million de jetons. La fenêtre contextuelle détermine le nombre de jetons d'entrée et de sortie qu'un grand modèle de langage (LLM) peut traiter.

Les grandes entreprises technologiques et les laboratoires d'IA pionniers sont en concurrence pour étendre les fenêtres contextuelles de leurs LLM. En quelques mois, les modèles sont passés de quelques milliers de tokens à plus d’un million en moins d’un an. Cependant, les LLM avec des fenêtres de contexte très longues sont pour la plupart limités à des modèles privés tels que Anthropic Claude (200 000 jetons), OpenAI GPT-4 (128 000 jetons) et Google Gemini (1 million de jetons).

La course à la création d'open source les modèles avec de longues fenêtres de contexte pourraient remanier le marché du LLM et débloquer des applications qui ne sont pas possibles avec les modèles privés.

Gradient travaille avec des entreprises clientes qui souhaitent intégrer les LLM dans leurs flux de travail. Même avant la sortie de Llama-3, l'entreprise était confrontée à des problèmes de contexte dans les projets sur lesquels elle travaillait pour ses clients.

Source d'actualité：https://www.kdj.com/cryptocurrencies-news/articles/race-source-context-llms-heats-gradient-crusoe-extend-llama-context-window-tokens.html

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!