Handschrifterkennungstechnologie und ihre Algorithmusklassifizierung

Die Weiterentwicklung der maschinellen Lerntechnologie wird definitiv die Entwicklung der Handschrifterkennungstechnologie vorantreiben. Dieser Artikel konzentriert sich auf Handschrifterkennungstechnologien und -algorithmen, die derzeit eine gute Leistung erbringen.

Kapselnetzwerke (CapsNets)

Kapselnetzwerke sind eine der neuesten und fortschrittlichsten Architekturen in neuronalen Netzwerken und gelten als Verbesserung gegenüber bestehenden Techniken des maschinellen Lernens.

Das Pooling von Schichten in Faltungsblöcken wird verwendet, um die Datendimensionalität zu reduzieren und räumliche Invarianz für die Identifizierung und Klassifizierung von Objekten in Bildern zu erreichen. Ein Nachteil des Poolings besteht jedoch darin, dass dabei eine große Menge räumlicher Informationen über Objektdrehung, Position, Skalierung und andere Positionseigenschaften verloren geht. Obwohl die Genauigkeit der Bildklassifizierung hoch ist, ist die Leistung bei der genauen Lokalisierung von Objekten im Bild daher schlecht.

Capsule ist ein Neuronenmodul, das zum Speichern von Informationen über die Position, Drehung, Skalierung und andere Informationen von Objekten im hochdimensionalen Vektorraum verwendet wird. Jede Dimension repräsentiert eine besondere Eigenschaft des Objekts.

Der Kernel, der Feature-Maps generiert und visuelle Features extrahiert, arbeitet mit dynamischem Routing, indem er individuelle Meinungen mehrerer Gruppen, sogenannte Kapseln, kombiniert. Dies führt zu einer gleichen Varianz zwischen den Kerneln und verbessert die Leistung im Vergleich zu CNNs.

Der Kernel, der Feature-Maps generiert und visuelle Features extrahiert, arbeitet mit dynamischem Routing, indem er individuelle Meinungen aus mehreren Gruppen (sogenannte Kapseln) kombiniert. Dies führt zu einer Äquivalenz zwischen den Kerneln und einer verbesserten Leistung im Vergleich zu CNNs.

Mehrdimensionales wiederkehrendes neuronales Netzwerk (MDRNN)

Die Verarbeitung sequenzieller Daten durch RNN/LSTM (Long Short-Term Memory) ist auf die Verarbeitung eindimensionaler Daten wie Text beschränkt und kann nicht direkt darauf erweitert werden Bilder.

Mehrdimensionale RNNs können eine einzelne wiederkehrende Verbindung in einem Standard-RNN durch so viele wiederkehrende Einheiten ersetzen, wie Dimensionen in den Daten vorhanden sind.

Während des Vorwärtsdurchlaufs empfängt die verborgene Schicht des Netzwerks an jedem Punkt in der Datensequenz externe Eingaben und ihre eigenen Aktivierungen, die von einer Dimension aus einen Schritt zurück ausgeführt werden.

Das Hauptproblem bei Erkennungssystemen besteht darin, ein zweidimensionales Bild in eine eindimensionale Etikettensequenz umzuwandeln. Dies geschieht durch die Übergabe der Eingabedaten an eine Hierarchie von MDRNN-Schichten. Durch Auswahl der Blockhöhe wird das 2D-Bild nach und nach auf eine 1D-Sequenz reduziert, die dann von der Ausgabeebene beschriftet werden kann.

Mehrdimensionale wiederkehrende neuronale Netze sollen Sprachmodelle robust gegenüber jeder Kombination von Eingabedimensionen machen, wie z. B. Bilddrehung und -scherung, Mehrdeutigkeit von Strichen und lokalen Verzerrungen verschiedener Handschriftstile, und ihnen ermöglichen, flexibel modular mehrdimensional aufzubauen Kontext.

Connectionist Temporal Classification (CTC)

Dies ist ein Algorithmus, der Aufgaben wie Spracherkennung, Handschrifterkennung usw. übernimmt und die gesamten Eingabedaten der Ausgabeklasse/dem Ausgabetext zuordnet.

Traditionelle Erkennungsmethoden beinhalten die Zuordnung von Bildern zu entsprechendem Text. Wir wissen jedoch nicht, wie Bildfelder an Zeichen ausgerichtet sind. CTC kann umgangen werden, ohne zu wissen, wie bestimmte Teile von Sprachaudio oder handgeschriebenen Bildern zu bestimmten Zeichen passen.

Die Eingabe in den Algorithmus ist eine Vektordarstellung eines Bildes von handgeschriebenem Text. Es gibt keine direkte Übereinstimmung zwischen Bildpixeldarstellung und Zeichenfolge. CTC versucht, diese Zuordnung zu finden, indem es die Wahrscheinlichkeiten aller möglichen Übereinstimmungen zwischen ihnen summiert.

Mit CTC trainierte Modelle verwenden typischerweise wiederkehrende neuronale Netze, um die Wahrscheinlichkeit in jedem Zeitschritt abzuschätzen, da wiederkehrende neuronale Netze den Kontext in der Eingabe berücksichtigen. Es gibt die Zeichenbewertung für jedes Sequenzelement aus, dargestellt durch eine Matrix.

Zur Dekodierung können wir Folgendes verwenden:

Beste Pfaddekodierung: Beinhaltet die Vorhersage von Sätzen durch Verkettung der wahrscheinlichsten Zeichen jedes Zeitstempels, um ein vollständiges Wort zu bilden, was den besten Pfad ergibt. In der nächsten Trainingsiteration werden wiederholte Zeichen und Leerzeichen entfernt, um den Text besser zu dekodieren.

Beam Search Decoder: Schlägt mehrere Ausgabepfade mit der höchsten Wahrscheinlichkeit vor. Pfade mit kleineren Wahrscheinlichkeiten werden verworfen, um die Strahlgröße konstant zu halten. Die mit dieser Methode erzielten Ergebnisse sind genauer und werden oft mit Sprachmodellen kombiniert, um aussagekräftige Ergebnisse zu liefern.

Transformer-Modell

Das Transformer-Modell verfolgt eine andere Strategie und nutzt die Selbstaufmerksamkeit, um sich die gesamte Sequenz zu merken. Mit dem Transformer-Modell kann eine nichtzyklische Handschriftmethode implementiert werden.

Das Transformer-Modell kombiniert die Multi-Head-Selbstaufmerksamkeitsschicht der visuellen Schicht und der Textschicht, um die sprachmodellbezogenen Abhängigkeiten der zu dekodierenden Zeichenfolge zu lernen. Das Sprachwissen ist im Modell selbst eingebettet, sodass keine zusätzlichen Verarbeitungsschritte mithilfe eines Sprachmodells erforderlich sind. Es eignet sich auch gut zur Vorhersage von Ausgaben, die nicht Teil des Vokabulars sind.

Diese Architektur besteht aus zwei Teilen:

Texttranskribierer, der entschlüsselte Zeichen ausgibt, indem er auf die visuellen und sprachbezogenen Merkmale des anderen achtet.

Visueller Feature-Encoder, der zum Extrahieren relevanter Informationen aus handgeschriebenen Textbildern entwickelt wurde, indem er sich auf verschiedene Zeichenpositionen und deren Kontextinformationen konzentriert.

Encoder-Decoder und Aufmerksamkeitsnetzwerk

Das Training von Handschrifterkennungssystemen ist immer mit der Knappheit an Trainingsdaten verbunden. Um dieses Problem zu lösen, nutzt diese Methode vorab trainierte Merkmalsvektoren von Text. Moderne Modelle nutzen Aufmerksamkeitsmechanismen in Verbindung mit RNNs, um sich auf nützliche Funktionen für jeden Zeitstempel zu konzentrieren.

Die gesamte Modellarchitektur kann in vier Phasen unterteilt werden: Normalisierung des Eingabetextbilds, Kodierung des normalisierten Eingabebilds in eine visuelle 2D-Feature-Map, Dekodierung mit bidirektionalem LSTM für sequentielle Modellierung, Decoder Der Ausgabevektor der Kontextinformationen wird konvertiert in Worte fassen.

Scannen, Ansehen und Lesen

Dies ist eine Methode zur durchgängigen Handschrifterkennung mithilfe des Aufmerksamkeitsmechanismus. Es scannt die gesamte Seite auf einmal. Daher ist es nicht darauf angewiesen, das gesamte Wort vorher in Zeichen oder Zeilen aufzuteilen. Diese Methode verwendet eine mehrdimensionale LSTM-Architektur (MDLSTM) als Merkmalsextraktor, ähnlich wie oben. Der einzige Unterschied besteht in der letzten Ebene, in der die extrahierten Feature-Maps vertikal gefaltet werden und eine Softmax-Aktivierungsfunktion angewendet wird, um den entsprechenden Text zu identifizieren.

Das hier verwendete Aufmerksamkeitsmodell ist eine hybride Kombination aus inhaltsbasierter Aufmerksamkeit und ortsbezogener Aufmerksamkeit. Das Decoder-LSTM-Modul verwendet die vorherigen Zustands- und Aufmerksamkeitskarten sowie die Encoderfunktionen, um die endgültigen Ausgabezeichen und Zustandsvektoren für die nächste Vorhersage zu generieren.

Convolve, Attend and Spell

Dies ist ein Sequenz-zu-Sequenz-Modell zur handschriftlichen Texterkennung, das auf dem Aufmerksamkeitsmechanismus basiert. Die Architektur besteht aus drei Hauptteilen: einem Encoder, bestehend aus einem CNN und einer bidirektionalen GRU nach Zeichen Aus den entsprechenden Wörtern

• Das wiederkehrende neuronale Netzwerk eignet sich am besten für die zeitlichen Eigenschaften des Textes. In Kombination mit einer solchen wiederkehrenden Architektur spielt der Aufmerksamkeitsmechanismus eine entscheidende Rolle bei der Fokussierung auf die richtigen Merkmale in jedem Zeitschritt.
• Handgeschriebene Textgenerierung

Mit der synthetischen Handschriftgenerierung kann realistischer handgeschriebener Text generiert werden, der zur Verbesserung vorhandener Datensätze verwendet werden kann.

Deep-Learning-Modelle erfordern große Datenmengen zum Trainieren, und die Beschaffung eines großen Korpus annotierter Handschriftbilder in verschiedenen Sprachen ist eine mühsame Aufgabe. Wir können dieses Problem lösen, indem wir generative gegnerische Netzwerke verwenden, um Trainingsdaten zu generieren.

ScrabbleGAN ist eine halbüberwachte Methode zur Synthese handgeschriebener Textbilder. Es basiert auf einem generativen Modell, das mithilfe eines vollständig Faltungsnetzwerks Wortbilder beliebiger Länge erzeugen kann.

Das obige ist der detaillierte Inhalt vonHandschrifterkennungstechnologie und ihre Algorithmusklassifizierung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!