Der Wettlauf um Open-Source-LLMs mit langem Kontext verschärft sich, da Gradient und Crusoe das „Kontextfenster' von Llama-3 auf 1 Million Token erweitern

In einer kürzlichen Zusammenarbeit haben das KI-Startup Gradient und die Cloud-Computing-Plattform Crusoe das „Kontextfenster“ von Llama-3-Modellen auf 1 Million Token erweitert. Das Kontextfenster bestimmt die Anzahl der Eingabe- und Ausgabetokens, die ein großes Sprachmodell (LLM) verarbeiten kann.

VentureBeat Transform 2024 wird Führungskräfte von OpenAI, Chevron, Nvidia, Kaiser Permanente und Capital One vorstellen. Diese dreitägige Veranstaltung bietet den Teilnehmern die Möglichkeit, wichtige Einblicke in GenAI zu gewinnen und ihr Netzwerk zu erweitern.

In einer aktuellen Zusammenarbeit haben Gradient und Crusoe das Kontextfenster von Llama-3-Modellen auf 1 Million Token erweitert. Das Kontextfenster bestimmt die Anzahl der Eingabe- und Ausgabetokens, die ein großes Sprachmodell (LLM) verarbeiten kann.

Große Technologieunternehmen und Pionier-KI-Labore konkurrieren darum, die Kontextfenster ihrer LLMs zu erweitern. Innerhalb weniger Monate haben sich die Modelle von der Unterstützung einiger Tausend Token auf über eine Million in weniger als einem Jahr entwickelt. Allerdings sind LLMs mit sehr langen Kontextfenstern meist auf private Modelle wie Anthropic Claude (200.000 Token), OpenAI GPT-4 (128.000 Token) und Google Gemini (1 Million Token) beschränkt.

Der Wettlauf um die Schaffung von Open-Source Modelle mit langen Kontextfenstern könnten den LLM-Markt neu mischen und Anwendungen erschließen, die mit privaten Modellen nicht möglich sind.

Gradient arbeitet mit Unternehmenskunden zusammen, die LLMs in ihre Arbeitsabläufe integrieren möchten. Schon bevor Llama-3 herauskam, hatte das Unternehmen bei Projekten, an denen es für seine Kunden arbeitete, mit Kontextproblemen zu kämpfen.

Nachrichtenquelle: https://www.kdj.com/cryptocurrencies-news/articles/race-source-context-llms-heats-gradient-crusoe-extend-llama-context-window-tokens.html

Das obige ist der detaillierte Inhalt vonDer Wettlauf um Open-Source-LLMs mit langem Kontext verschärft sich, da Gradient und Crusoe das „Kontextfenster' von Llama-3 auf 1 Million Token erweitern. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!