Testen Sie Persönlichkeits-/Depressions-/kognitive Modelle mit großen Modellen! Messung psychologischer Merkmale durch die Entwicklung von Spielhandlungen

Psychometrie spielt eine wichtige Rolle für die psychische Gesundheit, das Selbstverständnis und die persönliche Entwicklung.

Traditionelle psychometrische Methoden basieren hauptsächlich darauf, dass die Teilnehmer Selbstberichtsfragebögen ausfüllen, die anhand der Erinnerung an Verhaltensweisen und Emotionen im täglichen Leben gemessen werden.

Obwohl diese Art der Messmethode effizient und praktisch ist, kann sie bei den Teilnehmern Widerstand hervorrufen und ihre Bereitschaft, sich testen zu lassen, verringern.

Mit der Entwicklung großer Sprachmodelle(LLM) haben viele Studien herausgefunden, dass LLM stabile Persönlichkeitsmerkmale aufweisen, subtile menschliche Emotionen und kognitive Muster nachahmen und auch verschiedene sozialwissenschaftliche Simulationsexperimente unterstützen kann. Es liefert neue Forschungsideen für viele psychologische Forschungsbereiche wie Pädagogische Psychologie, Sozialpsychologie, Kulturpsychologie, klinische Psychologie und psychologische Beratung.

Kürzlich hat ein Forschungsteam der Tsinghua-Universität ein innovatives psychometrisches Paradigma vorgeschlagen, das auf einem Multi-Agenten-System basiert, das auf einem großen Sprachmodell basiert.

Im Gegensatz zu herkömmlichen Fragebögen zur Selbsteinschätzung „passt diese Studie an und generiert ein interaktives Erzählspiel“ für jeden Teilnehmer, und Benutzer können „die Art und das Thema des Spiels anpassen“. Während sich die Handlung des Spiels entwickelt, müssen die Teilnehmer auf der Grundlage verschiedener Handlungsstränge aus der Ich-Perspektive unterschiedliche Entscheidungen treffen und so den Fortschritt der Handlung beeinflussen. Durch die Untersuchung der Entscheidungen der Teilnehmer in Schlüsselmomenten des Spiels können ihre psychologischen Eigenschaften beurteilt werden.

△Vergleich des psychometrischen Paradigmas von Selbstberichtsfragebögen (links) und des psychometrischen Paradigmas interaktiver Erzählspiele (rechts)

Der Beitrag dieser Studie spiegelt sich hauptsächlich in drei Aspekten wider:

Ein neues vorgeschlagen Das psychologische Messparadigma wandelt traditionelle Fragebögen in spielbasierte interaktive Messungen um, indem es die Zuverlässigkeit und Gültigkeit psychologischer Messungen gewährleistet, das Gefühl der Immersion der Teilnehmer stärkt und das Testerlebnis verbessert.

Um eine Gamification-Messung zu erreichen, schlägt diese Studie ein Multi-Agent-Interaktions-Framework vor, das auf einem großen Sprachmodell namens

PsychoGAT
• (Psychological Game Agents) basiert und die Verallgemeinerung psychologischer Testszenarien mit gemessenen Werten gewährleistet Robustheit unter verschiedenen Spieleinstellungen. Durch automatisierte Simulationsbewertung und reale Personenbewertung bei Aufgaben wie MBTI-Persönlichkeitstest, PHQ-9-Depressionsmessung, kognitivem Denkfallentest usw. zeigte diese Studie signifikante Ergebnisse bei psychometrischen statistischen Indikatoren und Benutzererfahrungsindikatoren.
Als nächstes werfen wir einen Blick auf die Details der Studie.
• Wie sieht PsychoGAT aus?

△ Schematische Darstellung des PsychoGAT-Frameworks

Agent-Interaktionsprozess:

Anhand eines traditionellen psychologischen Testfragebogens passen die Teilnehmer den Spieltyp und das Thema an, und dann gibt der Spieledesigner

(Game Designer)

der Agent eine Gesamtbewertung ab Spieldesign-Entwurf.

Dann generiert der Agent des Spieladministrators (Gamecontroller) eine spezifische Spielhandlung. Während dieses Prozesses führt der Agent des Kommentators (Kritiker)

mehrere Runden der Überprüfung und Optimierung des vom Administrator generierten Inhalts durch abgeschlossen Die endgültige Handlung des Spiels wird den Teilnehmern gezeigt. Nachdem die Teilnehmer entsprechende Entscheidungen getroffen haben, fördert der Administrator die Entwicklung der Handlung basierend auf dieser Entscheidung und folgt diesem interaktiven Prozesszyklus.

Detaillierte Beschreibung der Funktionen jedes Agenten:

Game Designer

(Game Designer)

: Verwenden Sie CoT-Technologie, um den Umriss des Ego-Erzählspiels zu erstellen und sicherzustellen, dass die Szenarien in dieser Handlung enthalten sind kann eine Teilnahme ermöglichen. Die Person weist das aktuell gemessene psychologische Merkmal auf.
• Gleichzeitig wird der standardmäßige psychologische Selbstberichtsfragebogen an die aktuelle Spielhandlung angepasst, wodurch die Integration der beiden natürlicher und reibungsloser wird.

Game Controller

(Game Controller)

: Der angepasste Fragebogen wird sequentiell entsprechend der Handlung des Spiels instanziiert, wodurch er zu Handlungsknoten der Geschichte wird und den Teilnehmern mögliche Optionen zur Auswahl bietet.
• Gleichzeitig gibt der Spieladministrator die Entscheidungen der Teilnehmer an die Spielumgebung zurück und steuert die Handlungsrichtung des Spiels basierend auf den Entscheidungen der Teilnehmer. Um die Kontinuität der Spielhandlung zu gewährleisten, wendet der Administratoragent einen Mechanismus zur „Speicheraktualisierung“ an.
  • Kommentator (Kritiker): Ziel ist es, von Spieladministratoren generierte Inhalte zu überprüfen und zu optimieren.

  Zielt hauptsächlich auf die folgenden drei Probleme ab:

  1) Konsistenz optimieren: Mit fortschreitender Spielhandlung wird das Langtextproblem ernster, sodass der Mechanismus zur „Speicheraktualisierung“ die Handlungskonsistenz nicht vollständig gewährleisten kann.

  2) Sorgen Sie für Unvoreingenommenheit: Die Entscheidungen der Teilnehmer wirken sich auf die Entwicklung der Spielhandlung aus, aber bevor die Teilnehmer eine Wahl treffen, sollte der Administrator die Handlungsrichtung nicht vorgeben, selbst wenn die Teilnehmer die vorherigen Entscheidungen als offensichtliche Tendenz widerspiegeln .

  3) Korrektur fehlender Elemente: Führen Sie eine detaillierte Überprüfung der vom Administrator erstellten Spielhandlung durch, um zu überprüfen, ob sie ein grundlegendes Eintauchen in das Spiel bietet.

  Experimente und Ergebnisse

  

  △ Vergleich von drei gängigen psychologischen Messparadigmen: traditionelle Fragebögen, Psychologeninterviews und die in dieser Studie vorgeschlagene spielerische Bewertung.

  Hier geht es um alle automatisierten Messungen auf Basis von KI. Insbesondere beziehen sich Psychologeninterviews auf das aktuelle Interviewparadigma, das mit großen Sprachmodellen kombiniert wird und bei dem große Sprachmodelle die Rolle von Psychologen spielen.

  In der experimentellen Phase wählten die Forscher drei gängige psychologische Messaufgaben: Extraversion im MBTI-Persönlichkeitstest, PHQ-9-Depressionserkennung und kognitive Verzerrungserkennung im frühen Stadium der CBT-Therapie.

  Zunächst verglichen die Forscher sie mit ausgereiften traditionellen psychologischen Fragebögen, um die psychometrische Zuverlässigkeit und Validität der Studie zu testen. Darüber hinaus wird es mit drei anderen automatisierten Messmethoden verglichen, um die Benutzererfahrung verschiedener Messmethoden zu untersuchen.

  Die Forscher simulierten zunächst den Probanden mit GPT-4 und zeichneten den Messvorgang und die Messergebnisse mit verschiedenen Messmethoden auf. Diese Messaufzeichnungen wurden zur Berechnung nachfolgender psychometrischer Zuverlässigkeits- und Validitätsindikatoren sowie Benutzererfahrungsindikatoren verwendet.

  Es gibt zwei Bewertungsindikatoren: Zuverlässigkeits- und Gültigkeitsindikatoren und Benutzererfahrungsindikatoren.

  • Zuverlässigkeits- und Validitätsindex: Um in der Psychometrie zu bewerten, ob ein Messinstrument wissenschaftlich ist, wird es im Allgemeinen anhand von zwei Dimensionen überprüft: Zuverlässigkeit (Zuverlässigkeit) und Gültigkeit (Gültigkeit).

  In dieser Studie wurden zwei statistische Größen zur Messung der internen Konsistenz als Indikatoren für die Zuverlässigkeit ausgewählt: Cronbachs Alpha und Guttmans Lambda 6; Diskriminanzvalidität) .

  Benutzererfahrungsindikatoren
  , manuell ausgewertete Indikatoren umfassen:
  • 1) Konsistenz
  (Kohärenz, CH)
  : Ob die Inhaltslogik kohärent ist;

  2) Interaktivität (Interaktivität, IA): Ob vorhanden eine angemessene und unvoreingenommene Reaktion auf die Wahl des Benutzers
  3) Interesse (Interesse, INT) : Ob der Messvorgang interessant ist;
  5) Zufriedenheit (Zufriedenheit, ST) : Zufriedenheit mit dem gesamten Messprozess.
  Das Folgende sind die experimentellen Ergebnisse.
  Zunächst testeten die Forscher, ob der in dieser Studie vorgeschlagene PsychoGAT als qualifiziertes psychologisches Messinstrument eingesetzt werden kann. Die Ergebnisse sind in der folgenden Tabelle aufgeführt.

  △Zuverlässigkeits- und Validitätstestergebnisse von PsychoGAT (+bestanden, ++gut, +++ausgezeichnet)

  Darüber hinaus verglichen die Forscher die Benutzererfahrung verschiedener psychometrischer Paradigmen und des in dieser Studie vorgeschlagenen Spiels Die Bewertung ist in Bezug auf Interaktivität, Spaß und Immersion deutlich besser als andere Methoden:

  △Die Benutzererfahrungsergebnisse von PsychoGAT und die entsprechenden Ergebnisse anderer Vergleichsmethoden
  Um die Validität der manuellen Bewertung sicherzustellen, recherchieren Sie The Die Mitarbeiter haben die manuellen Bewertungsergebnisse berechnet und festgestellt, dass die Bewertungskonsistenz der Indikatoren von PsychoGAT besser ist als bei anderen Methoden: Bei der PsychoGAT-Analyse testeten die Forscher zunächst die Zuverlässigkeit und Gültigkeit der Gamification-Messung in verschiedenen Spielszenarien, was sehr robust ist:

  

  △Die Robustheit von PsychoGAT bei der Messung von Zuverlässigkeit und Validität in verschiedenen Spielszenarien

  Dann wurde die Rolle jedes Agenten in PsychoGAT untersucht:

  

  △Die Rolle verschiedener Agenten in PsychoGAT

  Schließlich in Um den spielgenerierten Inhalt von PsychoGAT visuell darzustellen, verwendeten die Forscher Wortwolken, um den Extraversionstest und den Depressionstest zu visualisieren:

  

  △Visualisierung der Spielszenengenerierung der PsychoGAT-Extraversionsmessung und Depressionsmessung.

  Der Inhalt des Extraversionstests konzentriert sich hauptsächlich auf soziale Situationen, während der Depressionstest sich auf persönliches Denken und Emotionen konzentriert.

  Weitere Forschungsdetails finden Sie im Originalpapier.

  Papierlink:https://www.php.cn/link/4bcd537b6c034e297f0030cf08887426

Das obige ist der detaillierte Inhalt vonTesten Sie Persönlichkeits-/Depressions-/kognitive Modelle mit großen Modellen! Messung psychologischer Merkmale durch die Entwicklung von Spielhandlungen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!