Wissenschaftler werden es ernst mit großen Sprachmodellen, die das menschliche Denken widerspiegeln

Erforschung der erstaunlichen Parallelen zwischen LLMs und dem menschlichen Gehirn

Dieser Artikel untersucht bahnbrechende Forschungsarbeiten, die Neurowissenschaften, Psychologie und Informatik zusammenführen, um überraschende Ähnlichkeiten - und wichtige Unterschiede - zwischen Großsprachmodellen (LLMs) und dem menschlichen Gehirn, insbesondere in der Textverarbeitung und im Verfahrensministerium, zu enthüllen.

.

Einführung:

Der Aufstieg von LLMs hat eine intensive Debatte über ihr Potenzial ausgelöst, menschliche kognitive Prozesse nachzuahmen. Ihre fortschrittlichen Fähigkeiten in Bezug auf Sprache, Argumentation und Problemlösung werfen überzeugende Fragen zu den zugrunde liegenden betrieblichen Prinzipien auf. Frühere Artikel untersuchten dies, insbesondere in Bezug auf das "chinesische Raumargument" und Parallelen zwischen LLM -Textverarbeitung und Erwerb menschlicher Sprache:
dreht sich beim Turing -Test, dem chinesischen Raumargument und den modernen Großsprachenmodellen
Wenn mündliche und schriftliche Kommunikation Menschen in der Intelligenz entwickelt ... was ist mit Sprachmodellen los?
Menschen als super-advanter "stochastische Papageien"?
Provokativ, Microsoft-Forscher sagten, sie fanden "Sparks der künstlichen Intelligenz" in GPT-4
Was ist, wenn Intelligenz und vielleicht sogar Bewusstsein in AI unbestreitig auftreten, nur so langsam, dass…

Frühere Arbeiten analysierten auch LLM "Argumentation" und die Auswirkungen der schnellen Engineering auf die Genauigkeit der Problemlösung:
Neue DeepMind -Arbeit enthüllt oberste Eingabeaufforderung für Sprachmodelle
Wie können Sprachmodelle, die auf Strings trainiert sind, Mathematik durchführen?

Neuere Forschungsarbeiten beleuchten auffällige Ähnlichkeiten:

In diesem Artikel werden aktuelle Studien überprüft, in denen die Parallelen und Unterscheidungen zwischen LLM und menschlichem Gehirn untersucht werden und sich auf die kognitive Aufgabenleistung, die Bewertungsmethoden und die Natur der Intelligenz konzentrieren. Fünf wichtige Forschungsarbeiten bilden die Grundlage für diese Analyse:

• Großsprachenmodelle und kognitive Wissenschaft: Eine umfassende Überprüfung der Ähnlichkeiten, Unterschiede… Diese Übersicht (derzeit nicht von UN-PEEER überprüft) untersucht die Schnittstelle von LLMs und kognitiv Informationsverarbeitung, einschließlich Anpassungen kognitiver Psychologieexperimente und Neuroimaging -Daten. Es unterstreicht Ähnlichkeiten in der Sprachverarbeitung und der sensorischen Urteile und unterstreicht gleichzeitig Unterschiede in der Argumentation, insbesondere bei neuen Problemen.

• Kontextfunktionsextraktionshierarchien konvergieren in Großsprachenmodellen und im Gehirn - Natur… Dieses Papier analysiert zwölf LLMs und bewertet ihre Fähigkeit zur Vorhersage neuronaler Reaktionen (intrakranielle EEGs) während des Sprachverständnisses. Hochleistungsfähige LLMs zeigten eine größere Ähnlichkeit des Gehirns und stimmten ihre hierarchische Merkmalextraktion mit den Wegen des Gehirns mit weniger Schichten aus. Kontextinformationen verbesserten sowohl die Modellleistung als auch die hirnähnliche Verarbeitung signifikant.

• Skala -Angelegenheiten: Großsprachenmodelle mit Milliarden (anstelle von Millionen) von Parametern besser… Dieser überprüfte Vordruck in ELIFE untersucht die Korrelation zwischen LLM -Größe und der Vorhersage der menschlichen Gehirnaktivität während der Verarbeitung natürlicher Sprache (unter Verwendung von Elektrokortikographie). Größere LLMs genauer vorhergesagte neuronale Aktivität, wobei die optimale Vorhersageschicht in größeren Modellen auf frühere Schichten verschoben wurde.

• gemeinsame Rechenprinzipien für die Sprachverarbeitung beim Menschen und tiefen Sprachmodellen-PubMed Dieser 2022-Artikel (unter Verwendung von GPT-2) fand empirische Beweise dafür, dass Menschen und LLMs drei Rechenprinzipien teilen: kontinuierliche Vorhersage der nächsten Wörter, Vorhersage der nächsten Wörter, Vorhersage, Vorhersage, Vorhersage von Next-Word, Vorhersage, Vorhersage, Vorhersage, Vorhersage, Vorhersage, Vorhersage, Vorhersage, Vorhersage, Vorhersage, Vorhersage, Vorhersage, Vorhersage, Vorhersage, kontinuierlich, Verwenden Sie Vorhersagen vor dem Einstieg zur Berechnung der Überraschung nach dem Einstieg und die Darstellung von Wörtern mit kontextuellen Einbettungen.

• Verfahrenswissen in der Vorbereitung fördert das Denken in Großsprachenmodellen Diese Vorabdruck untersucht, wie LLMs lernen, und vergleichen Argumentationsstrategien mit dem Abrufen von Faktenwissen. Argumentation wird durch Verfahrenswissen angetrieben, synthetisierte Lösungen aus Dokumenten, die ähnliche Argumentationsprozesse zeigen.

Schlüsselparallelen und -divergenzen:

Ähnlichkeiten:

1. Hierarchische Sprachverarbeitung: sowohl LLMs als auch die menschliche Gehirnprozesssprache hierarchisch, wobei Schichten zunehmend komplexe sprachliche Merkmale extrahieren. Die LLM -Leistung korreliert mit ihrer Fähigkeit, die Aktivität des menschlichen Gehirns während der Sprachverarbeitung vorherzusagen.

2. Kontextabhängige Abhängigkeit: Beide Systeme stützen sich stark auf kontextbezogene Informationen. Größere Kontextfenster in LLMs verstärken ihre Fähigkeit, menschliche neuronale Reaktionen vorherzusagen, und spiegelt das Vertrauen des Gehirns in den Kontext für das Verständnis wider.

Unterschiede:

1. funktionale und formale sprachliche Kompetenz: Während LLMs bei formalen sprachlichen Kompetenz (Grammatik) häufig mit funktionaler Kompetenz zu kämpfen haben (Pragmatik, kontextabhängige Aspekte wie Humor oder Sarkasmus).

   .

2. Gedächtnismechanismen: LLM -Gedächtnis unterscheidet sich signifikant vom menschlichen Gedächtnis. Das menschliche Gedächtnis ist dynamisch und passt sich an Erfahrungen und Assoziationen an. Der LLM -Speicher beruht auf festen Darstellungen.

LLMs als kognitive Modelle bewerten:

Die Bewertung von LLM -Kognitionen stellt einzigartige Herausforderungen dar. Die Forscher adören kognitive Psychologieexperimente (wie Cogbench) und verwenden Neuroimaging -Daten, um LLM -Darstellungen mit der menschlichen Gehirnaktivität zu vergleichen. Die Interpretation dieser Ergebnisse erfordert jedoch Vorsicht aufgrund der grundlegenden Unterschiede zwischen den beiden Systemen.

Die Konvergenzfrage:

Die Frage, ob LLMs echte Intelligenz entwickeln, bleibt offen. Während ihre Leistung bei kognitiven Aufgaben beeindruckend ist, bestehen grundlegende Unterschiede zum menschlichen Gehirn. Die Konvergenz von LLMs zur Gehirn-ähnlichen Verarbeitung erhöht faszinierende Möglichkeiten, aber ob sie jemals Intelligenz auf menschlicher Ebene erreichen werden.

Schlussfolgerung:

Die hier untersuchte Forschung beleuchtet die faszinierenden Parallelen und Unterschiede zwischen LLMs und dem menschlichen Gehirn. Diese laufende Untersuchung fördert nicht nur unser Verständnis der künstlichen Intelligenz, sondern vertieft auch unser Wissen über die menschliche Kognition selbst.

Weitere Lesen:

• Eine neue Methode zum Erkennen von "Konfabulationen", die von Großsprachenmodellen
halluziniert sind.
Direkte Verwendungszwecke großer Sprachmodelle in der modernen Wissenschaft und Technologie
leistungsstarke Datenanalyse und -diagramme über natürliche Sprachanfragen, indem Sie LLMs Zugriff auf…
• gewähren
Die Kraft von ChatGPT im Klassenzimmer -Kiskussion nach monatelangen Tests

auslassen

(www.lucianoabriata.com - Abonnieren Sie weitere Artikel. Dienste und Kontaktinformationen auf der Website.)

Das obige ist der detaillierte Inhalt vonWissenschaftler werden es ernst mit großen Sprachmodellen, die das menschliche Denken widerspiegeln. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!