Graphenbewusstes kontrastives Lernen verbessert die Klassifizierungseffekte multivariater Zeitreihen

Dieses Papier in AAAI 2024 wurde gemeinsam von der Singapore Agency for Science, Technology and Research (A*STAR) und der Nanyang Technological University, Singapur, veröffentlicht. Es schlägt eine Methode vor, um graphenbewusstes kontrastives Lernen zu nutzen, um die Klassifizierung multivariater Zeitreihen zu verbessern. Experimentelle Ergebnisse zeigen, dass diese Methode bemerkenswerte Ergebnisse bei der Verbesserung der Leistung der Zeitreihenklassifizierung erzielt hat.

Bilder

Papiertitel: Graph-Aware Contrasting for Multivariate Time-Series Classification

Download-Adresse: https://arxiv.org/pdf/2309.05202.pdf

Offener Quellcode: https://github .com/Frank-Wang-oss/TS-GAC

1. Basierend auf den vorhandenen kontrastiven Lernmethoden schlug der Autor eine Methode namens „Graph-Aware Contrast“ (TS-GAC) vor Lösen Sie das räumliche Konsistenzproblem von Multisensoren in MTS-Daten. TS-GAC besteht aus zwei Hauptkomponenten: Diagrammverbesserung und Diagrammvergleich. Die Diagrammverbesserung verbessert die räumliche Konsistenz durch Knoten- und Kantenverbesserung, um die Stabilität und Relevanz des Sensors aufrechtzuerhalten. Der Diagrammvergleich führt einen Zeitvergleich in mehreren Fenstern ein, um die Zeitkonsistenz aufrechtzuerhalten. Durch umfangreiche experimentelle Verifizierung erreicht diese Methode eine optimale Leistung bei verschiedenen MTS-Klassifizierungsaufgaben. Die Ergebnisse unterstreichen die Bedeutung der Berücksichtigung der räumlichen Konsistenz beim kontrastiven Lernen von MTS-Daten und bieten eine umfassende Lösung, die die Klassifizierungsleistung erheblich verbessert. Diese Forschung ist von großer Bedeutung für die weitere Verbesserung der Wirkung des kontrastiven Lernens und stellt ein leistungsstarkes Werkzeug für die Verarbeitung von MTS-Daten dar.

Bilder2. Modellstruktur

Die in diesem Artikel vorgeschlagene Methode umfasst hauptsächlich zwei Teile: Bildverbesserung und Bildvergleich.

Um MTS-Daten effektiv zu verbessern, führen wir eine Knoten- und Kantenverbesserung ein, um schwache und starke Ansichten zu generieren. Die Knotenverbesserung umfasst die Verbesserung des Frequenzbereichs und des Zeitbereichs, um Diagrammknoten vollständig zu verbessern. Zuerst wenden wir eine Frequenzbereichsverbesserung an, um die Knoten zu verbessern, und segmentieren dann die verbesserten Abtastwerte entsprechend den dynamischen lokalen Mustern in den MTS-Daten in mehrere Fenster (wie in Abbildung 2 dargestellt). In jedem Fenster verwenden wir die zeitliche Knotenerweiterung und führen eine Merkmalsextraktion für das Fenster über ein eindimensionales Faltungs-Neuronales Netzwerk durch. Anschließend erstellen wir für jedes Fenster ein Diagramm und verbessern das Diagramm durch Kantenverstärkung weiter. Schließlich verwenden wir einen auf einem graphischen neuronalen Netzwerk basierenden Encoder für die Graphverarbeitung und das Lernen von Merkmalen.

BilderDiagrammvergleich: einschließlich Vergleich auf Knotenebene und Vergleich auf Diagrammebene, um räumliche Konsistenz zu erreichen. Der Vergleich auf Knotenebene stellt die Robustheit der Knotenfunktionen sicher, indem entsprechende Sensoren in verschiedenen Ansichten näher herangezogen und verschiedene Sensoren in verschiedenen Ansichten weiter entfernt werden. Der Vergleich auf Diagrammebene stellt außerdem die Robustheit globaler Merkmale sicher, indem Stichproben in verschiedenen Ansichten verglichen werden.

Die Architektur zielt darauf ab, räumliche Konsistenz beim kontrastiven Lernen zu erreichen, indem sie spezifische Verbesserungs- und Kontrasttechniken für die MTS-Klassifizierung bereitstellt. Indem zuerst die Knotenverbesserung angewendet wird, dann die zeitliche Verbesserung innerhalb der Knoten verwendet wird und schließlich die Kantenverbesserung durch GNN verarbeitet wird, ist diese Methode in der Lage, schwache und starke Ansichten mit unterschiedlichen räumlichen und zeitlichen Eigenschaften für jede Probe zu generieren. Die Innovation dieser Methode besteht darin, dass sie nicht nur die zeitliche Konsistenz berücksichtigt, sondern durch die Diagrammstruktur auch die räumliche Konsistenz verbessert und so eine neue Perspektive für die eingehende Analyse und Verarbeitung von MTS-Daten bietet.

3. Diagrammverbesserungsmodul

Angesichts der Eigenschaften von MTS-Daten, d und Zeitbereichserweiterung. Die Frequenzbereichsverbesserung wandelt das Signal jedes Sensors in den Frequenzbereich um, verbessert die extrahierten Frequenzmerkmale und wandelt die verbesserten Frequenzmerkmale dann zurück in den Zeitbereich um, um ein verbessertes Signal zu erhalten. Insbesondere wird die diskrete Wavelet-Transformation verwendet, um das Signal durch Hochpass- und Tiefpassfilter zu zerlegen, um Makrotrends und Mikrotrends innerhalb des Signals darzustellen. Die Zeitbereichsverbesserung berücksichtigt die dynamischen Eigenschaften von MTS-Daten, indem jede MTS-Probe in mehrere Fenster unterteilt und in jedem Fenster eine Zeitbereichsverbesserung durchgeführt wird.

Kantenverbesserung: zielt darauf ab, die Korrelation zwischen Sensoren, also den Kanten im erstellten Diagramm, zu verbessern. Die Knoten (Sensoren) und Kanten (Korrelationen zwischen Sensoren) werden zunächst durch einen Graphenerstellungsprozess definiert. Anschließend wird die Korrelation zwischen Sensoren durch die Kantenverstärkungsmethode effektiv verbessert. In diesem Schritt wird unter Berücksichtigung der Tatsache, dass bei der Merkmalsausbreitung von GNN eine starke Korrelation wichtiger ist als eine schwache Korrelation, bei der Kantenverstärkung die stärkste Korrelation beibehalten, um die Stabilität topologischer Informationen sicherzustellen. Die verbleibenden Korrelationen werden durch Zufallswerte ersetzt ​zur Verbesserung der Randverbindungen.

Durch diese Verbesserungsstrategien möchte der Autor schwache Ansichten und starke Ansichten generieren, damit der anschließende kontrastive Lernprozess robuste Sensormerkmale und Beziehungen zwischen Sensoren erlernen kann. Das Design dieser Verbesserungsstrategien berücksichtigt die Multiquellen- und Dynamik von MTS-Daten und erweitert die Fähigkeiten von CL durch die Bereitstellung von Datenansichten aus verschiedenen Blickwinkeln, sodass robustere und allgemeinere Darstellungen erlernt werden können.

4. Diagrammvergleichsmodul

Das Papier schlägt eine diagrammbewusste Vergleichsmethode vor, die speziell Knoten- und Kantenverbesserungs- und Diagrammvergleichsstrategien entwickelt, um die räumliche Konsistenz von MTS-Daten zu verbessern. Es umfasst hauptsächlich drei Vergleichsebenen: Zeitvergleich mit mehreren Fenstern, Vergleich auf Knotenebene und Vergleich auf Diagrammebene.

Multi-Window Temporal Contrasting (MWTC): Diese Methode gewährleistet die zeitliche Konsistenz jedes Sensors auf Sensorebene und erhält die Robustheit der zeitlichen Abhängigkeit innerhalb von MTS-Daten durch prädiktive Codierung aufrecht. MWTC erhält die Robustheit zeitlicher Muster aufrecht, indem vergangene Fensterinformationen in einer Ansicht zusammengefasst und in einer anderen Ansicht mit zukünftigen Fenstern verglichen werden.

Kontrastierung auf Knotenebene (NC): NC lernt robuste Funktionen auf Sensorebene, indem es Sensoren in verschiedenen Ansichten innerhalb jeder MTS-Probe vergleicht. Dabei geht es darum, die Ähnlichkeit zwischen entsprechenden Sensoren in zwei Ansichten zu maximieren und gleichzeitig die Ähnlichkeit zwischen verschiedenen Sensoren in diesen Ansichten zu minimieren.

Kontrastierung auf Diagrammebene (GC): GC fördert robustes Merkmalslernen auf globaler Ebene durch den Vergleich von Beispielen innerhalb jedes Trainingsstapels. Bei dieser Strategie wird die Ähnlichkeit zwischen entsprechenden Stichproben in zwei Ansichten maximiert und gleichzeitig die Ähnlichkeit zwischen verschiedenen Stichproben in diesen Ansichten minimiert.

Diese kontrastiven Lernstrategien arbeiten zusammen, um das Repräsentationslernen von MTS-Daten durch Diagrammstrukturen zu verbessern und dadurch die Klassifizierungsgenauigkeit zu verbessern. Der Artikel hebt auch die Bedeutung des zeitlichen Vergleichs hervor, um die zeitliche Konsistenz für jeden Sensor aufrechtzuerhalten, sowie die Rolle des Diagrammvergleichs beim Erlernen robuster Merkmale auf Sensor- und globaler Ebene. Durch die Kombination von Vergleichen auf Knotenebene und Diagrammebene kann diese Methode komplexe räumliche und zeitliche Muster in MTS-Daten effektiv lernen und eine erhebliche Verbesserung der MTS-Klassifizierungsleistung erzielen.

5. Experimentelle Ergebnisse

Im experimentellen Teil vergleicht das Papier die Leistung von zehn öffentlichen multivariaten Zeitreihendatensätzen und vergleicht sie mit den vorhandenen Methoden nach dem neuesten Stand der Technik. Zu diesen Datensätzen gehören Human Activity Recognition (HAR), ISRUC-Schlafphasenklassifizierung und Unterdatensätze im UEA-Datensatz wie Fingerbewegungen, gesprochene arabische Ziffern usw. Für einen fairen Vergleich verwenden alle Methoden denselben Encoder. Experimentelle Ergebnisse zeigen, dass TS-GAC bei acht Datensätzen die beste Leistung erzielte, insbesondere bei den HAR- und ISRUC-Datensätzen. Im Vergleich zu anderen Methoden stieg die Genauigkeit um 1,44 % bzw. 3,13 %.

Bilder

Gleichzeitig visualisierte der Autor auch die Modellmerkmale, und die Visualisierungsergebnisse ermöglichten es TS-GAC, erkennbarere Merkmale auf Sensorebene zu extrahieren. Gleichzeitig kann TS-GAC im Vergleich zu anderen Methoden konsistentere Merkmale auf Sensorebene für Daten aus verschiedenen Betrachtungswinkeln erhalten.

Bilder

Die Autoren führten auch Ablationsstudien durch, um die Auswirkungen der entwickelten Verstärkungs- und Kontrasttechniken auf die Modellleistung zu bewerten. In der Ablationsstudie wurden verschiedene Varianten getestet, darunter solche, bei denen die Knotenverstärkung, die Kantenverstärkung, der Kontrast auf Diagrammebene, der Kontrast auf Knotenebene und der zeitliche Mehrfensterkontrast entfernt wurden. Die Ergebnisse zeigen, dass Diagrammverbesserungs- und Diagrammkontrasttechniken die räumliche Konsistenz von MTS-Daten äußerst effektiv verbessern und dass der vollständige TS-GAC eine bessere Leistung zeigt als jede Variante, die den Kontrastverlust reduziert.

Bild

Darüber hinaus analysierte der Autor auch die Empfindlichkeit des Modells, einschließlich des Einflusses von Hyperparametern (wie λMWTC, λGC, λNC) und des Einflusses der Anzahl der beibehaltenen Kanten. Diese Analysen bestätigen weiterhin die Wirksamkeit und Robustheit der vorgeschlagenen Methode.

Insgesamt unterstreichen die experimentellen Ergebnisse die Fähigkeit von TS-GAC, bei mehreren MTS-Klassifizierungsaufgaben eine optimale Leistung zu erzielen, was die Bedeutung der vorgeschlagenen Diagrammverbesserungs- und Diagrammvergleichstechniken für die Verbesserung der räumlichen Konsistenz des Modells für MTS-Daten zeigt Wirksamkeit.

Das obige ist der detaillierte Inhalt vonGraphenbewusstes kontrastives Lernen verbessert die Klassifizierungseffekte multivariater Zeitreihen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!