


Was ist im Zeitalter der großen Modelle am wichtigsten?
Die Antwort, die LeCun einmal gab, lautet: Open Source.
Als der Code für Metas LLaMA auf GitHub durchgesickert war, erhielten Entwickler auf der ganzen Welt Zugriff auf das erste LLM auf GPT-Ebene.
Als nächstes geben verschiedene LLMs verschiedene Blickwinkel auf die Open Source von KI-Modellen.
LLaMA ebnete den Weg und bereitete die Bühne für Modelle wie Stanfords Alpac und Vicuna und machte sie zum Marktführer im Bereich Open Source.
In diesem Moment brach der Falke „Falcon“ erneut aus der Belagerung aus.
Falcon
„Falcon“ wurde vom Technology Innovation Institute (TII) in Abu Dhabi, Vereinigte Arabische Emirate, entwickelt. In Bezug auf die Leistung schneidet Falcon besser ab als LLaMA.
Derzeit gibt es „Falcon“ in drei Versionen – 1B, 7B und 40B.
TII sagte, Falcon sei das bislang leistungsstärkste Open-Source-Sprachmodell. Seine größte Version, Falcon 40B, verfügt über 40 Milliarden Parameter und ist damit immer noch etwas kleiner als LLaMA mit 65 Milliarden Parametern.
Obwohl der Maßstab klein ist, ist die Leistung hoch.
Faisal Al Bannai, Generalsekretär des Advanced Technology Research Council (ATRC), glaubt, dass die Veröffentlichung von „Falcon“ die Erwerbsmethode von LLM durchbrechen und es Forschern und Unternehmern ermöglichen wird, die innovativsten Anwendungsfälle vorzuschlagen.
Zwei Versionen von FalconLM, Falcon 40B Instruct und Falcon 40B, belegen die ersten beiden der Hugging Face OpenLLM-Rangliste, während Metas LLaMA auf dem dritten Platz liegt.
Es ist erwähnenswert, dass Hugging Face diese Modelle anhand von vier aktuellen Benchmarks zum Vergleich von Mannigfaltigkeiten bewertet – AI2 Reasoning Challenge, HellaSwag, MMLU und TruthfulQA.
Obwohl das „Falcon“-Papier noch nicht öffentlich veröffentlicht wurde, wurde Falcon 40B umfassend anhand eines sorgfältig geprüften 1-Billion-Token-Netzwerkdatensatzes trainiert.
Forscher haben herausgefunden, dass „Falcon“ großen Wert darauf legt, während des Trainingsprozesses eine hohe Leistung bei großen Datenmengen zu erzielen.
Was wir alle wissen ist, dass LLM sehr empfindlich auf die Qualität von Trainingsdaten reagiert, weshalb Forscher viel Mühe darauf verwenden, eine Datenpipeline aufzubauen, die eine effiziente Verarbeitung auf Zehntausenden von CPU-Kernen durchführen kann.
Der Zweck besteht darin, durch Filterung und Deduplizierung hochwertige Inhalte aus dem Internet zu extrahieren.
Derzeit hat TII einen verfeinerten Netzwerkdatensatz veröffentlicht, bei dem es sich um einen sorgfältig gefilterten und deduplizierten Datensatz handelt. Die Praxis hat gezeigt, dass es sehr effektiv ist.
Das Modell, das nur mit diesem Datensatz trainiert wird, kann mit anderen LLMs mithalten oder diese sogar in der Leistung übertreffen. Dies zeigt die hervorragende Qualität und den Einfluss von „Falcon“.
Darüber hinaus ist das Falcon-Modell auch mehrsprachig.
Es versteht Englisch, Deutsch, Spanisch und Französisch und beherrscht auch einige kleine europäische Sprachen wie Niederländisch, Italienisch, Rumänisch, Portugiesisch, Tschechisch, Polnisch und Schwedisch.
Falcon 40B ist nach der Veröffentlichung des H2O.ai-Modells auch das zweite wirklich Open-Source-Modell. Da H2O.ai jedoch nicht mit anderen Modellen in diesem Ranking verglichen wurde, haben diese beiden Modelle den Ring noch nicht betreten.
Wenn ich auf LLaMA zurückblicke, war der Code zwar auf GitHub verfügbar, seine Gewichte waren jedoch nie Open Source.
Das bedeutet, dass die kommerzielle Nutzung dieses Modells etwas eingeschränkt ist.
Darüber hinaus basieren alle Versionen von LLaMA auf der ursprünglichen LLaMA-Lizenz, was LLaMA für kleine kommerzielle Anwendungen ungeeignet macht.
An dieser Stelle hat „Falcon“ erneut die Nase vorn.
Das einzige kostenlose kommerzielle Modell!
Falcon ist derzeit das einzige Open-Source-Modell, das kostenlos kommerziell genutzt werden kann.
Zu Beginn verlangte TII, dass eine „Nutzungssteuer“ von 10 % erhoben wird, wenn Falcon für kommerzielle Zwecke genutzt wird und mehr als 1 Million US-Dollar an anrechenbarem Einkommen generiert.
Aber es dauerte nicht lange, bis die reichen Magnaten des Nahen Ostens diese Einschränkung aufhoben.
Zumindest vorerst wird die gesamte kommerzielle Nutzung und Feinabstimmung von Falcon kostenlos sein.
Die Reichen sagten, dass sie mit diesem Modell vorerst kein Geld verdienen müssen.
Darüber hinaus wirbt TII auch um Kommerzialisierungspläne aus der ganzen Welt.
Für potenzielle wissenschaftliche Forschungs- und Kommerzialisierungslösungen werden sie auch mehr „Trainingsrechenleistungsunterstützung“ bereitstellen oder weitere Kommerzialisierungsmöglichkeiten bieten.
E-Mail zur Projekteinreichung: Submissions.falconllm@tii.ae
Das heißt einfach: Solange das Projekt gut ist, kann das Modell kostenlos verwendet werden! Genug Rechenleistung! Wenn Sie nicht genug Geld haben, können wir es trotzdem für Sie einsammeln!
Für Start-ups ist dies einfach eine „One-Stop-Lösung für KI-Großmodell-Unternehmertum“ vom Nahost-Tycoon.
Hochwertige Trainingsdaten
Ein wichtiger Aspekt des Wettbewerbsvorteils von FalconLM ist laut dem Entwicklungsteam die Auswahl der Trainingsdaten.
Das Forschungsteam hat einen Prozess entwickelt, um hochwertige Daten aus öffentlich gecrawlten Datensätzen zu extrahieren und doppelte Daten zu entfernen.
Nach der gründlichen Bereinigung redundanter und doppelter Inhalte blieben 5 Billionen Token erhalten – genug, um ein leistungsstarkes Sprachmodell zu trainieren.
Der 40B Falcon LM verwendet 1 Billion Token für das Training, und die 7B-Version des Modell-Trainingstokens erreicht 1,5 Billionen.
(Das Forschungsteam zielt darauf ab, mithilfe des RefinedWeb-Datensatzes nur Rohdaten höchster Qualität aus Common Crawl herauszufiltern)
Mehr kontrollierbare Trainingskosten
TII sagte, mit GPT-3 im Vergleich zu Falcon erzielte mit Falcon erhebliche Leistungsverbesserungen und nutzte dabei nur 75 % des Trainings-Rechenbudgets.
und benötigt nur 20 % der Berechnungszeit während der Inferenz.
Die Schulungskosten von Falcon entsprechen nur 40 % von Chinchilla und 80 % von PaLM-62B.
Erfolgreiche effiziente Nutzung der Rechenressourcen erreicht.
Das obige ist der detaillierte Inhalt von„Falcon' macht LLaMA kaputt und ist komplett Open Source! 40 Milliarden Parameter, Billionen Token-Training, dominierendes Hugging Face. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Laut einem neuen Bericht der Apollo Research stellt die nicht kontrollierte interne Bereitstellung fortschrittlicher KI -Systeme erhebliche Risiken dar. Dieser mangelnde Aufsicht, der bei großen KI -Unternehmen weit verbreitet ist

Traditionelle Lügendetektoren sind veraltet. Wenn man sich auf den vom Armband verbundenen Zeiger stützt, ist ein Lügendetektor, der die lebenswichtigen Anzeichen und physikalischen Reaktionen des Probanden ausdruckt, bei der Identifizierung von Lügen nicht genau. Aus diesem Grund werden die Erkennungsergebnisse normalerweise nicht vom Gericht verabschiedet, obwohl es dazu geführt hat, dass viele unschuldige Menschen inhaftiert wurden. Im Gegensatz dazu ist künstliche Intelligenz eine leistungsstarke Datenmotor, und ihr Arbeitsprinzip besteht darin, alle Aspekte zu beobachten. Dies bedeutet, dass Wissenschaftler künstliche Intelligenz auf Anwendungen anwenden können, die auf verschiedene Weise Wahrheit suchen. Ein Ansatz besteht darin, die Vitalzeichenreaktionen der Person zu analysieren, die wie ein Lügendetektor befragt wird, jedoch mit einer detaillierteren und präziseren vergleichenden Analyse. Ein anderer Ansatz ist die Verwendung von Sprachmarkup, um zu analysieren, was Menschen tatsächlich sagen und Logik und Argumentation verwenden. Wie das Sprichwort sagt, züchtet eine Lüge eine andere Lüge und schließlich

Die Luft- und Raumfahrtindustrie, ein Pionier der Innovation, nutzt KI, um ihre komplizierten Herausforderungen zu bewältigen. Die zunehmende Komplexität der Modern Aviation erfordert die Automatisierung und Echtzeit-Intelligenzfunktionen von KI für verbesserte Sicherheit, reduzierter Oper

Die schnelle Entwicklung der Robotik hat uns eine faszinierende Fallstudie gebracht. Der N2 -Roboter von Noetix wiegt über 40 Pfund und ist 3 Fuß groß und soll in der Lage sein, sich zurückzufassen. Der G1 -Roboter von Unitree wiegt etwa doppelt so groß wie der N2 und ist etwa 4 Fuß hoch. Es gibt auch viele kleinere humanoide Roboter, die am Wettbewerb teilnehmen, und es gibt sogar einen Roboter, der von einem Fan vorangetrieben wird. Dateninterpretation Der Halbmarathon zog mehr als 12.000 Zuschauer an, aber nur 21 humanoide Roboter nahmen teil. Obwohl die Regierung darauf hinwies, dass die teilnehmenden Roboter vor dem Wettbewerb eine "intensive Ausbildung" durchführten, haben nicht alle Roboter den gesamten Wettbewerb abgeschlossen. Champion - Tiangong ult entwickelt vom Peking Humanoiden Roboter Innovation Center

Künstliche Intelligenz in ihrer aktuellen Form ist nicht wirklich intelligent. Es ist geschickt darin, vorhandene Daten nachzuahmen und zu verfeinern. Wir schaffen keine künstliche Intelligenz, sondern künstliche Schluss

In einem Bericht wurde festgestellt, dass eine aktualisierte Schnittstelle im Code für Google Photos Android Version 7.26 versteckt wurde. Bei jedem Anzeigen eines Fotos werden am unteren Bildschirmrand eine Reihe neu erkannter Vorschaubildesansichten angezeigt. In den neuen Miniaturansichten des Gesichts fehlen Namensschilds. Ich vermute daher, dass Sie einzeln auf sie klicken müssen, um weitere Informationen zu jeder erkannten Person anzuzeigen. Im Moment bietet diese Funktion keine anderen Informationen als diejenigen, die Google Photos in Ihren Bildern gefunden haben. Diese Funktion ist noch nicht verfügbar, daher wissen wir nicht, wie Google sie genau verwendet. Google kann Miniaturansichten verwenden, um mehr Fotos von ausgewählten Personen zu finden, oder kann für andere Zwecke verwendet werden, z. B. für die Bearbeitung der Person. Lassen Sie uns warten und sehen. Wie vorerst

Die Verstärkungsfonetuning hat die KI -Entwicklung erschüttert, indem sie Modelle unterrichten, um sich auf der Grundlage des menschlichen Feedbacks anzupassen. Es mischt beaufsichtigte Lernfundamente mit belohnungsbasierten Updates, um sie sicherer, genauerer und wirklich hilfreicher zu machen

Wissenschaftler haben ausführlich menschliche und einfachere neuronale Netzwerke (wie die in C. elegans) untersucht, um ihre Funktionalität zu verstehen. Es stellt sich jedoch eine entscheidende Frage: Wie passen wir unsere eigenen neuronalen Netze an, um neben neuartigen Ai S effektiv zu arbeiten


Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heißer Artikel

Heiße Werkzeuge

EditPlus chinesische Crack-Version
Geringe Größe, Syntaxhervorhebung, unterstützt keine Code-Eingabeaufforderungsfunktion

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Herunterladen der Mac-Version des Atom-Editors
Der beliebteste Open-Source-Editor
