Große Open-Source-Modelle müssen Closed-Source übertreffen – LeCun enthüllt KI-Trenddiagramm 2024

2023 geht zu Ende. Im vergangenen Jahr wurden verschiedene große Modelle herausgebracht. Während Technologiegiganten wie OpenAI und Google konkurrieren, erhebt sich still und leise eine andere „Macht“ – Open Source.

Das Open-Source-Modell wurde schon immer viel in Frage gestellt. Sind sie so gut wie proprietäre Modelle? Kann es mit der Leistung proprietärer Modelle mithalten? Bisher konnten wir sagen, dass wir nur einigermaßen nah dran sind. Dennoch wird uns das Open-Source-Modell immer empirische Leistung bringen, was uns mit Bewunderung betrachten lässt.

Der Aufstieg von Open-Source-Modellen verändert die Spielregeln. Die LLaMA-Serie von Meta erfreut sich beispielsweise aufgrund ihrer schnellen Iteration, Anpassbarkeit und Privatsphäre immer größerer Beliebtheit. Diese Modelle werden von der Community schnell weiterentwickelt, was eine starke Herausforderung für proprietäre Modelle darstellt und die Wettbewerbslandschaft großer Technologieunternehmen verändern kann.

Aber früher kamen die meisten Ideen der Menschen nur aus „Gefühlen“. Heute Morgen beklagte sich Metas Chef-KI-Wissenschaftler und Turing-Award-Gewinner Yann LeCun plötzlich: „Open-Source-Modelle für künstliche Intelligenz sind auf dem Weg, proprietäre Modelle zu übertreffen.“ des ARK Invest-Teams wird davon ausgegangen, dass die Entwicklung der künstlichen Intelligenz im Jahr 2024 möglicherweise vorhergesagt wird. Es zeigt das Wachstum von Open-Source-Communities im Vergleich zu proprietären Modellen in der generativen künstlichen Intelligenz

Da Unternehmen wie OpenAI und Google immer verschlossener werden, veröffentlichen sie immer seltener Informationen über ihre neuesten Modelle. Infolgedessen beginnen die Open-Source-Community und ihr Unternehmensunterstützer Meta einzuschreiten, um generative KI zu demokratisieren, was möglicherweise eine Herausforderung für die Geschäftsmodelle proprietärer Modelle darstellt

In diesem Streudiagramm werden verschiedene KIs angezeigt. Der Leistungsprozentsatz der Modell. Proprietäre Modelle werden in Blau und Open-Source-Modelle in Schwarz dargestellt. Wir können die Leistung verschiedener KI-Modelle wie GPT-3, Chinchilla 70B (Google), PaLM (Google), GPT-4 (OpenAI) und Llama65B (Meta) zu verschiedenen Zeitpunkten sehen.

Als Meta LLaMA erstmals veröffentlichte, schwankte die Anzahl der Parameter zwischen 7 und 65 Milliarden. Die Leistung dieser Modelle ist ausgezeichnet: Das Llama-Modell mit 13 Milliarden Parametern kann GPT-3 (175 Milliarden Parameter) „bei den meisten Benchmarks“ übertreffen und kann auf einer einzigen V100-GPU laufen, während die größten 65 Milliarden Parameter des Llama-Modells vorhanden sind sind vergleichbar mit Googles Chinchilla-70B und PaLM-540B.

Falcon-40B schoss gleich nach seiner Veröffentlichung an die Spitze der OpenLLM-Rangliste von Huggingface und veränderte die Szene, in der Llama herausragt.

Llama 2 ist Open Source und sorgt wieder einmal für große Veränderungen in der großen Modelllandschaft. Im Vergleich zu Llama 1 verfügt Llama 2 über 40 % mehr Trainingsdaten, verdoppelt die Kontextlänge und verwendet einen gruppierten Abfrageaufmerksamkeitsmechanismus.

Vor kurzem hat das Open-Source-Großmodelluniversum ein neues Schwergewichtsmitglied gewonnen – das Yi-Modell. Es kann 400.000 chinesische Zeichen gleichzeitig verarbeiten, wobei Chinesisch und Englisch die Liste dominieren. Yi-34B ist außerdem das einzige inländische Modell, das bisher die Rangliste der Open-Source-Modelle Hugging Face erfolgreich anführt.

Laut Streudiagramm holt die Leistung des Open-Source-Modells weiterhin mit dem proprietären Modell auf. Dies bedeutet, dass das Open-Source-Modell in naher Zukunft mit der Leistung des proprietären Modells mithalten oder es sogar übertreffen wird.

Mistral 8x7B erhielt am vergangenen Wochenende großes Lob von Forschern für seine einfachste Release-Methode und leistungsstarke Leistung. Sagte: „Das Closed-Source-Großmodell ist am Ende.“

Einige Internetnutzer haben begonnen, sich zu wünschen, dass „2024 das Jahr der Open-Source-künstlichen Intelligenz wird“ und glauben, dass „wir uns einem kritischen Punkt nähern.“ Angesichts der aktuellen Open-Source-Community-Projekte gehen wir davon aus, dass wir in den nächsten 12 Monaten das Niveau von GPT-4 erreichen werden Das Open-Source-Modell läuft reibungslos und welche Leistung wird es zeigen

Das obige ist der detaillierte Inhalt vonGroße Open-Source-Modelle müssen Closed-Source übertreffen – LeCun enthüllt KI-Trenddiagramm 2024. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!