suchen
HeimTechnologie-PeripheriegeräteKISind große Sprachmodelle für die Codierung falsch?

Reinforcement-Learning-Modelle schlagen generative KI, wenn das Ziel Genauigkeit, Konsistenz, Spielbeherrschung oder das Finden einer richtigen Antwort ist.

Großformatige Sprachmodelle wie GPT-4 sind bemerkenswert, weil sie qualitativ hochwertige, glatte und natürliche Texte erzeugen können, die äußerst überzeugend sind. Traurigerweise gilt das auch für den Hype: Microsoft-Forscher beschreiben das von Microsoft finanzierte OpenAI-GPT-4-Modell atemlos als „einen Funken künstlicher allgemeiner Intelligenz“.

Solange Microsoft nicht von einer Neigung zu Halluzinationen spricht, muss der generierte Fehlertext natürlich falsch sein. GPT ist nicht gut darin, Spiele wie Schach und Go zu spielen, es ist nicht gut in Mathematik und der Code, den es schreibt, kann Fehler und subtile Lücken aufweisen.

Das bedeutet nicht, dass große Sprachmodelle nur ein Hype sind. Wir brauchen neue Blickwinkel, um generative künstliche Intelligenz (GenAI) zu diskutieren, ohne ihre Unterschiede zu anderen Technologien zu übertreiben.

Wie in einem IEEESpectrum-Artikel ausführlich beschrieben, glauben einige Experten, wie zum Beispiel Ilya Sutskever von OpenAI, dass das Hinzufügen von verstärkendem Lernen mit menschlichem Feedback die LLM-Illusion beseitigen kann. Aber andere, wie Yann LeCun von Meta und Geoff Hinton (kürzlich im Ruhestand bei Google), glauben, dass grundlegendere Mängel in großen Sprachmodellen am Werk sind. Beide glauben, dass großen Sprachmodellen das nichtsprachliche Wissen fehlt, das für das Verständnis der zugrunde liegenden Realität, die die Sprache beschreibt, entscheidend ist.

Mathew Lodge, CEO von Diffblue, wies in einem Interview darauf hin, dass es eine bessere Lösung gibt. Er sagte: „Kleine, schnelle und kostengünstige Reinforcement-Learning-Modelle können große Sprachmodelle mit Hunderten von Milliarden Parametern bei einer Vielzahl von Aufgaben, vom Spielen bis zum Schreiben von Code, leicht besiegen.“ nach KI-Gold suchen?

Was Lodge sagt, ist, dass generative KI definitiv ihren Nutzen hat, aber vielleicht versuchen wir, sie zum verstärkenden Lernen zu zwingen, was nicht gut passt. Nehmen wir zum Beispiel Spiele.

Levy Rozman, ein Schachgroßmeister, hat ein Video gepostet, in dem er gegen ChatGPT (chatbasierte künstliche Intelligenz) spielt. Das Modell machte eine Reihe lächerlicher und illegaler Bewegungen, darunter das Erobern seiner eigenen Figuren. Mit der besten Open-Source-Schachsoftware (Stockfish, die überhaupt keine neuronalen Netze verwendet) kann ChatGPT sie in weniger als 10 Zügen schlagen, da das große Sprachmodell keine legalen Züge finden kann. Dies beweist, dass große Sprachmodelle weit hinter den Ansprüchen allgemeiner künstlicher Intelligenz zurückbleiben, und dies ist kein Einzelfall.

Aufgrund seines Reinforcement-Learning-Algorithmus ist Google AlphaGo derzeit die leistungsstärkste künstliche Intelligenz von Go. Reinforcement Learning funktioniert, indem man verschiedene Lösungen für ein Problem generiert, sie ausprobiert, die Ergebnisse nutzt, um den nächsten Vorschlag zu verbessern, und den Vorgang dann tausende Male wiederholt, um das beste Ergebnis zu finden.

Bei AlphaGo probiert die KI verschiedene Züge aus und sagt voraus, ob dies ein guter Zug ist und ob es wahrscheinlich ist, dass man aus dieser Position das Spiel gewinnt. Es nutzt Feedback, um vielversprechende Zugfolgen zu „verfolgen“ und andere mögliche Züge zu generieren. Der Effekt ist eine Suche nach möglichen Zügen.

Dieser Vorgang wird als probabilistische Suche bezeichnet. Obwohl es viele Züge gibt, müssen Sie nicht alle ausprobieren, sondern können geduldig nach den Bereichen suchen, in denen Sie möglicherweise den besten Zug finden. Das funktioniert hervorragend zum Spielen. AlphaGo hat in der Vergangenheit Go-Meister besiegt. AlphaGo ist nicht unfehlbar, aber es bietet derzeit eine bessere Leistung als die besten heute verfügbaren großen Sprachmodelle.

Wahrscheinlichkeit vs. Genauigkeit

Befürworter glauben, dass große Sprachmodelle, selbst wenn es Beweise dafür gibt, dass sie anderen Arten von KI deutlich hinterherhinken, allmählich besser werden. Lodge weist jedoch darauf hin, dass wir verstehen müssen, warum sie bei dieser Aufgabe besser abschneiden, wenn wir diese Idee akzeptieren wollen. Die Schwierigkeit bei diesem Problem bestehe darin, fuhr er fort, dass niemand genau vorhersagen könne, wie GPT-4 auf bestimmte Hinweise reagieren werde. Dieses Muster entzieht sich jeder menschlichen Erklärung. Er glaubt, dass dies „der Grund dafür ist, dass es kein ‚Just-in-Time-Engineering‘ gibt.“ Er betont, dass es für KI-Forscher auch schwierig ist zu beweisen, dass „emergente Eigenschaften“ großer Sprachmodelle existieren, geschweige denn vorherzusagen ihnen.

Man kann sagen, dass das beste Argument die Induktion ist. GPT-4 ist bei einigen Sprachaufgaben besser als GPT-3, da es größer ist. Daher wäre ein größeres Modell besser.

Lodge ist der Ansicht, dass GPT-4 noch die Herausforderungen von GPT-3 bewältigen muss, es besteht also ein Problem. Eine davon ist die Mathematik. Während GPT-4 bei Additionsoperationen besser ist als GPT-3, weist es bei Multiplikationen und anderen mathematischen Operationen immer noch Engpässe auf.

Eine Vergrößerung der Sprachmodelle löst diese Probleme nicht auf magische Weise, und laut OpenAI sind größere Modelle auch nicht die Lösung. Der Grund liegt in der grundlegenden Natur großer Sprachmodelle, wie das OpenAI-Forum hervorhebt: „Große Sprachmodelle sind probabilistischer Natur und generieren mögliche Ergebnisse auf der Grundlage der Muster, die sie in den Trainingsdaten beobachten.“ „Die Wahrscheinlichkeit, eine einzige richtige Antwort zu finden, ist gering.“

Im Prozess der künstlichen Intelligenz können durch Reinforcement Learning gesteuerte Methoden genauere Ergebnisse liefern, da es sich um einen Prozess handelt, bei dem ein Ziel verfolgt wird. Reinforcement Learning findet iterativ die beste Antwort, die dem Ziel am nächsten kommt, um das gewünschte Ziel zu erreichen. Lodge weist darauf hin, dass große Sprachmodellkurse „nicht darauf ausgelegt sind, zu iterieren oder Ziele zu finden. Sie sind darauf ausgelegt, ein oder mehrere Mal eine „gut genug“-Antwort zu geben. Eine „One-Shot“-Antwort ist die erste Vom Modell erzeugte Antwort, die durch Vorhersage einer Wortfolge in der Eingabeaufforderung erhalten wird. Beim „Few-Shot-Learning“ geht es darum, dem Modell zusätzliche Beispiele oder Hinweise zur Verfügung zu stellen, um es bei der Generierung besserer Vorhersagen zu unterstützen. Große Sprachmodelle fügen oft auch etwas Zufälligkeit hinzu (das heißt, sie sind „randomisiert“), um die Wahrscheinlichkeit einer besseren Antwort zu erhöhen, sodass sie unterschiedliche Antworten auf dieselbe Frage geben. Es ist nicht so, dass die große Welt der Sprachmodelle das verstärkende Lernen ignoriert hätte. GPT-4 kombiniert „Reinforcement Learning mit menschlichem Feedback“ (RLHF). Ein von einem menschlichen Bediener trainiertes Kernmodell bevorzugt bestimmte Antworten, was jedoch nichts Grundlegendes an der Antwort ändert, die das Modell ursprünglich generiert hat. Lodge weist darauf hin, dass ein großes Sprachmodell die folgenden Optionen bieten könnte, um die Lücken im Satz „Wayne Gretzky mag Eis …“ zu füllen.

1. Wayne Gretzky liebt Eis.

2. Wayne Gretzky liebt Hockey.

3. Wayne Gretzky liebt Eisfischen.

4. Wayne Gretzky liebt Skaten.

5. Wayne Gretzky mag Eiswein.

Menschliche Bediener sortierten die Antworten und kamen möglicherweise zu dem Schluss, dass der legendäre kanadische Eishockeyspieler trotz der großen Anziehungskraft von Eiscreme Eishockey und Skaten bevorzugte. Zum Trainieren des Modells werden menschliche Rankings und weitere von Menschen geschriebene Antworten verwendet. Beachten Sie, dass GPT-4 nicht vorgibt, Wayne Gretzkys Vorlieben genau zu kennen, sondern nur das bestmögliche zu tun, wenn Sie dazu aufgefordert werden.

Schließlich sind große Sprachmodelle nicht darauf ausgelegt, sehr genau oder konsistent zu sein. Es gibt einen Kompromiss zwischen Genauigkeit und deterministischem Verhalten im Austausch für Allgemeingültigkeit. Für Lodge bedeutet dies lediglich, dass Reinforcement Learning die generative KI übertrifft, wenn es darum geht, KI in großem Maßstab anzuwenden.

Anwenden von Reinforcement Learning auf Software

Was ist mit der Softwareentwicklung? Während ich schreibe, hat GenAI Chancen bereitgestellt für Entwickler, die ihre Produktivität mithilfe von Tools wie GitHubCopilot oder AmazonCodeWhisperer steigern möchten. Das ist keine Spekulation – es ist passiert. Diese Tools können anhand des Codes vor und nach dem Einfügepunkt in der integrierten Entwicklungsumgebung vorhersagen, welcher Code voraussichtlich als nächstes erscheinen wird.

Tatsächlich generiert die neueste Version von Copilot bereits 61 % des Java-Codes, wie David Ramel vom Visual Studio Magazine sagte. Wer befürchtet, dass dadurch die Arbeit der Softwareentwickler verringert wird, sollte bedenken, dass diese Tools eine sorgfältige menschliche Überwachung erfordern, um die Vollständigkeit zu überprüfen und sie zu bearbeiten, damit der Code kompiliert und korrekt ausgeführt wird. Die automatische Vervollständigung ist seit ihren Anfängen ein fester Bestandteil von IDEs, und Copilot und andere Codegeneratoren machen sie noch nützlicher. Bei der groß angelegten autonomen Codierung ist das anders. Tatsächlich müssen 61 % des Java-Codes geschrieben werden.

Verstärkungslernen ermöglicht jedoch eine präzise autonome Codierung im großen Maßstab, sagte Lodge. Natürlich hat er ein berechtigtes Interesse daran, dies zu sagen: Im Jahr 2019 veröffentlichte seine Firma Diffblue Cover, ein kommerzielles Unit-Test-Schreibtool, das auf Reinforcement Learning basiert. Cover schreibt komplette Unit-Test-Suites ohne menschliches Eingreifen und ermöglicht so die Automatisierung komplexer, fehleranfälliger Aufgaben im großen Maßstab.

Ist Lodge absolut voreingenommen? Er verfügt über viele Erfahrungen, die seine Überzeugung rechtfertigen, dass Reinforcement Learning GenAI in der Softwareentwicklung übertrifft. Heute nutzt Diffblue Reinforcement Learning, um den Raum aller möglichen Testmethoden zu durchsuchen, automatisch Testcode für jede Methode zu schreiben und unter den geschriebenen Tests den besten Test auszuwählen. Belohnungsfunktionen für Reinforcement-Learning basieren auf einer Vielzahl von Kriterien, einschließlich Testabdeckung und Ästhetik, zu denen auch die Einhaltung des von Menschen geschriebenen Codierungsstils gehört. Das Tool erstellt Tests für jede Methode in durchschnittlich einer Sekunde.

Lodge glaubt, dass Reinforcement Learning die einzige wirkliche Lösung ist, wenn das Ziel darin besteht, automatisch 10.000 Unit-Tests für ein Programm zu schreiben, das niemand versteht. „Große Sprachmodelle können nicht mithalten; Menschen haben keine Möglichkeit, sie effektiv zu überwachen und ihren Code in diesem Maßstab zu korrigieren. Modelle größer und komplexer zu machen, löst dieses Problem nicht.“ 🎜#Fazit: Das Mächtigste an großen Sprachmodellen ist, dass es sich um Allzweck-Sprachprozessoren handelt. Sie können Sprachaufgaben übernehmen, für die sie nicht explizit geschult wurden. Das bedeutet, dass sie bei der Erstellung von Inhalten (Copywriting) und vielen anderen Dingen hervorragende Arbeit leisten können. Lodge betonte: „Aber das macht große Sprachmodelle nicht zu einem Ersatz für Modelle der künstlichen Intelligenz, die oft auf Reinforcement Learning basieren, die genauer und konsistenter sind und in großem Maßstab eingesetzt werden können.“ #

Das obige ist der detaillierte Inhalt vonSind große Sprachmodelle für die Codierung falsch?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme
Dieser Artikel ist reproduziert unter:51CTO.COM. Bei Verstößen wenden Sie sich bitte an admin@php.cn löschen
Werkzeuganruf in LLMsWerkzeuganruf in LLMsApr 14, 2025 am 11:28 AM

Große Sprachmodelle (LLMs) sind immer beliebter, wobei die Tool-Calling-Funktion ihre Fähigkeiten über die einfache Textgenerierung hinaus erweitert hat. Jetzt können LLMs komplexe Automatisierungsaufgaben wie dynamische UI -Erstellung und autonomes A erledigen

Wie ADHS -Spiele, Gesundheitstools und KI -Chatbots die globale Gesundheit verändernWie ADHS -Spiele, Gesundheitstools und KI -Chatbots die globale Gesundheit verändernApr 14, 2025 am 11:27 AM

Kann ein Videospiel Angst erleichtern, Fokus aufbauen oder ein Kind mit ADHS unterstützen? Da die Herausforderungen im Gesundheitswesen weltweit steigen - insbesondere bei Jugendlichen - wenden sich Innovatoren einem unwahrscheinlichen Tool zu: Videospiele. Jetzt einer der größten Unterhaltungsindus der Welt

UN -Input zu KI: Gewinner, Verlierer und MöglichkeitenUN -Input zu KI: Gewinner, Verlierer und MöglichkeitenApr 14, 2025 am 11:25 AM

„Die Geschichte hat gezeigt, dass der technologische Fortschritt das Wirtschaftswachstum zwar nicht selbstverträglich macht, aber nicht eine gerechte Einkommensverteilung sicherstellt oder integrative menschliche Entwicklung fördert“, schreibt Rebeca Grynspan, Generalsekretärin von UNCTAD, in der Präambel.

Lernverhandlungsfähigkeiten über generative KILernverhandlungsfähigkeiten über generative KIApr 14, 2025 am 11:23 AM

Easy-Peasy, verwenden Sie generative KI als Ihren Verhandlungslehrer und Sparringspartner. Reden wir darüber. Diese Analyse eines innovativen KI -Durchbruch

Ted enthüllt von Openai, Google, Meta geht vor Gericht, Selfie mit mir selbstTed enthüllt von Openai, Google, Meta geht vor Gericht, Selfie mit mir selbstApr 14, 2025 am 11:22 AM

Die TED2025 -Konferenz, die in Vancouver stattfand, beendete gestern, dem 11. April, ihre 36. Ausgabe. Es enthielt 80 Redner aus mehr als 60 Ländern, darunter Sam Altman, Eric Schmidt und Palmer Luckey. Teds Thema "Humanity Ranagined" wurde maßgeschneidert gemacht

Joseph Stiglitz warnt vor der drohenden Ungleichheit inmitten der Monopolmacht der AIJoseph Stiglitz warnt vor der drohenden Ungleichheit inmitten der Monopolmacht der AIApr 14, 2025 am 11:21 AM

Joseph Stiglitz ist der renommierte Ökonom und Empfänger des Nobelpreises in Wirtschaftswissenschaften im Jahr 2001. Stiglitz setzt, dass KI bestehende Ungleichheiten und konsolidierte Macht in den Händen einiger dominanter Unternehmen verschlimmern kann, was letztendlich die Wirtschaft untergräbt

Was ist eine Graphendatenbank?Was ist eine Graphendatenbank?Apr 14, 2025 am 11:19 AM

Grafikdatenbanken: Datenmanagement durch Beziehungen revolutionieren Wenn sich die Daten erweitern und sich ihre Eigenschaften über verschiedene Bereiche hinweg entwickeln, entstehen Diagrammdatenbanken als transformative Lösungen für die Verwaltung miteinander verbundener Daten. Im Gegensatz zu traditioneller

LLM Routing: Strategien, Techniken und Python -ImplementierungLLM Routing: Strategien, Techniken und Python -ImplementierungApr 14, 2025 am 11:14 AM

LLM -Routing von großer Sprachmodell (LLM): Optimierung der Leistung durch intelligente Aufgabenverteilung Die sich schnell entwickelnde Landschaft von LLMs zeigt eine Vielzahl von Modellen mit jeweils einzigartigen Stärken und Schwächen. Einige zeichnen sich über kreative Inhalte aus

See all articles

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Wie man alles in Myrise freischaltet
4 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

VSCode Windows 64-Bit-Download

VSCode Windows 64-Bit-Download

Ein kostenloser und leistungsstarker IDE-Editor von Microsoft

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

WebStorm-Mac-Version

WebStorm-Mac-Version

Nützliche JavaScript-Entwicklungstools

Sicherer Prüfungsbrowser

Sicherer Prüfungsbrowser

Safe Exam Browser ist eine sichere Browserumgebung für die sichere Teilnahme an Online-Prüfungen. Diese Software verwandelt jeden Computer in einen sicheren Arbeitsplatz. Es kontrolliert den Zugriff auf alle Dienstprogramme und verhindert, dass Schüler nicht autorisierte Ressourcen nutzen.

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung