Xiao Zha hat offiziell das schwergewichtige Update von Code Llama angekündigt und eine 70B-Version hinzugefügt, es gibt jedoch immer noch Kapazitätsbeschränkungen

Das leistungsstärkere Modell Code Llama 70B ist da.

Heute veröffentlicht Meta offiziell den Code Llama 70B, das größte und leistungsstärkste Modell aller Zeiten in der Code Llama-Serie.

Wir bieten Open Source eine verbesserte Version von Code Llama an, die ein größeres 70B-Parametermodell enthält. Das Schreiben und Bearbeiten von Code ist zu einer der wichtigsten Anwendungen moderner Modelle der künstlichen Intelligenz geworden. Es stellt sich heraus, dass für KI-Modelle die Fähigkeit, Code zu schreiben, der Schlüssel zu einer strengeren und rationaleren Verarbeitung von Informationen in anderen Bereichen ist. Ich bin sehr stolz auf diese Entwicklung und freue mich darauf, sie in Llama 3 und zukünftige Modelle zu integrieren.

Code Llama 70B ist in den gleichen drei Versionen wie zuvor veröffentlichte Code Llama-Modelle erhältlich:

• CodeLlama – 70B, Basiscode-Modell;
• CodeLlama – 7 0B - Python, spezialisiert 70B für Python;
• Code Llama – 70B – Instruct 70B, das auf das Verständnis natürlichsprachlicher Anweisungen abgestimmt ist.

Code Llama war ursprünglich ein Tool, das im August 2023 von Meta eingeführt wurde und für Forschung und kommerzielle Nutzung kostenlos ist.

Laut einem Meta AI-Blogbeitrag kann Code Llama 70B mehr Abfragen verarbeiten als andere Versionen, was bedeutet, dass Entwickler ihm beim Programmieren mehr Hinweise geben können und es genauer sein kann.

Im HumanEval-Benchmark erreichte Code Llama 70B eine Genauigkeit von 53 %, besser als die 48,1 % von GPT-3.5 und näher an den im OpenAI-Papier angegebenen 67 % von GPT-4.

Code Llama basiert auf Llama 2 und hilft Entwicklern, Code basierend auf Eingabeaufforderungen zu erstellen und von Menschen geschriebenen Code zu debuggen. Zu Beginn der Veröffentlichung gab Meta an, dass die Open-Source-Lizenz von Code Llama mit der von Llama 2 identisch sei und für Forschungs- und kommerzielle Zwecke kostenlos sei, ebenso wie Code Llama 70B.

Zu dieser Zeit gab es drei Versionen der Modelle der Code Llama-Serie mit den Parametermengen 7B, 13B und 34B. Und unterstützt mehrere Programmiersprachen, darunter Python, C++, Java, PHP, Typescript (Javascript), C# und Bash.

Meta bietet Code Llama-Versionen, einschließlich:

• Code Llama, grundlegendes Codemodell;
• Code Llama-Python, optimierte Python-Version;
• Code L lam a-Instruieren , natürlich Eine fein abgestimmte Version des Sprachbefehls.

Unter diesen konzentrieren sich die beiden letztgenannten Modelle auf bestimmte Codierungssprachen. Jetzt wurde diese Modellfamilie um Code Llama 70B erweitert, der Codierungsaufgaben auf ein neues Niveau hebt.

Code Llama 70B wird auf 1 TB Code und codebezogenen Daten trainiert, die im Code-Repository Hugging Face gehostet werden.

Meta sagt, dass seine größeren Modelle, die Modelle 34B und 70B, die besten Ergebnisse liefern und eine bessere Codierungsunterstützung bieten.

Doch nach Erfahrung des Entwicklers weist Code Llama 70B immer noch offensichtliche Mängel auf.

Zum Beispiel hat jemand herausgefunden, dass Code Llama 70B die Anforderung zum Generieren von Primzahlen nicht abschließen kann:

Einige Leute sagen auch, dass diese Einschränkung dazu dient, einige schlechte Verwendungen zu vermeiden, wie z Erzeugen illegaler Primzahlen. Illegale Primzahlen können verwendet werden, um Material darzustellen, dessen Besitz oder Verbreitung verboten ist, und die Verbreitung solcher Programme ist nach dem US-amerikanischen Digital Millennium Copyright Act illegal.

^{Referenzlink: https://www.theverge.com/2024/1/29/24055011/meta-llama2-code-generator-generative-ai}

Verwandte Lektüre

• Gepostet Eines Tages verbesserten sich die Codierungsfunktionen von Code Llama sprunghaft, und die fein abgestimmte Version von HumanEval punktete mit GPT-4 -4

Das obige ist der detaillierte Inhalt vonXiao Zha hat offiziell das schwergewichtige Update von Code Llama angekündigt und eine 70B-Version hinzugefügt, es gibt jedoch immer noch Kapazitätsbeschränkungen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!