Detaillierte Einführung in den KNN-Algorithmus (k-Nearest-Neighbor-Algorithmus) in Python (mit Beispielen)

Dieser Artikel bietet Ihnen eine detaillierte Einführung in den KNN-Algorithmus (k-Nearest-Neighbor-Algorithmus) (mit Beispielen). Ich hoffe, dass er für Sie hilfreich ist . hat geholfen.

Der KNN-Algorithmus ist ein Datenklassifizierungsalgorithmus. Die Kategorie der k-nächsten Nachbarndaten aus der Stichprobe stellt die Kategorie der Stichprobe dar und wird daher auch als k-nächster-Nachbarn-Algorithmus bezeichnet. Der KNN-Algorithmus ist eine der einfachsten Methoden im Data Mining und lässt sich grob in die folgenden Schritte unterteilen:

• Trainingsdaten: Daten aller Datenkategorien im Originaldatensatz.

• Testdaten: Das Datenbeispiel, das wir zum Testen verwenden werden.

• Verarbeitungsdaten

Die Testdaten, die wir erhalten, liegen normalerweise in anderen Dimensionen vor als die Trainingsdaten. Zu diesem Zeitpunkt müssen wir die Daten aktualisieren Testdaten Die Dimension ist dieselbe wie bei den Trainingsdaten. Pythons Numpy verfügt über eine Tile()-Funktion, die uns helfen kann, die Dimension der Testdaten zu erhöhen.

• Vektorisieren Sie die Daten

Nachdem die Dimensionalität der Testdaten erhöht wurde, müssen wir den Abstand vom Probenpunkt berechnen Um die Daten zu diesem Zeitpunkt zu vektorisieren, ist die sogenannte Vektorisierung sehr einfach, dh das Subtrahieren zweier Daten derselben Dimension.

• Berechnen Sie den euklidischen Abstand

Der euklidische Abstand, also der euklidische Abstand, kann mit dem Satz des Pythagoras berechnet werden Jeder Vektor in der Vektorgruppe, die durch Subtrahieren der Testdaten und Trainingsdaten erhalten wird, kann verwendet werden, um eine Vektorgruppe zu erhalten, die aus Abständen besteht.

• Klassifizieren Sie nach der Entfernung

Wählen Sie k Daten mit dem kleinsten Abstand vom Abtastpunkt aus und zählen Sie, welche Datenkategorien unter diesen k Daten enthalten sind Durch die höchste Häufigkeit des Auftretens kann die Datenkategorie des Stichprobenpunkts bestimmt werden.

Algorithmusimplementierung:

1. Zuerst müssen wir Numpy und Operator einführen, from numpy import * und import operator eingeben.

2. Als nächstes müssen wir eine Knn-Funktion definieren. In der Knn-Funktion müssen wir vier Parameter einführen, nämlich k, Trainingsdaten, Testdaten und Datenkategorie.

3. Als nächstes müssen wir eine Dimensionsverbesserungsoperation für die Daten durchführen. Wir müssen die Funktion „kachel(a,(b,c))“ unter „numpy“ verwenden Erweiterungsoperation, also Testdaten, b sind die Zeilendaten, die auf die Testdaten aktualisiert werden sollen, und c sind die Spaltendaten, die auf die Testdaten aktualisiert werden sollen.

4. In der vorherigen Operation müssen wir im Allgemeinen die Anzahl der Zeilen und Spalten der Trainingsdaten ermitteln Um die Funktion „shape()“ zu verwenden, gibt die Funktion „shape()“ ein Tupel zurück, das aus Zeilen und Spalten der Trainingsdaten besteht. Wenn wir die Anzahl der Zeilen oder Spalten der Trainingsdaten wissen möchten, müssen wir nur über darauf verweisen Array-Element-Index.

5 Nachdem die Dimensionen der Daten gleich sind, müssen wir die beiden Daten subtrahieren, um einen Vektor zu erhalten, und dann die Summe berechnen der Quadrate jedes Werts dieses Vektors Die Quadratwurzel von ist der Abstand zwischen den Testdaten und den Trainingsdaten und ruft dann die Funktion argsort() auf, um die Abstände in aufsteigender Reihenfolge zu sortieren. Diese Funktion gibt jedoch den Index des Arrays zurück Element.

6. Um die Anzahl des Vorkommens verschiedener Datenkategorien intuitiv zu erkennen, müssen wir ein leeres Wörterbuch zum Speichern einrichten Nachdem wir die Daten erhalten haben, müssen wir das Wörterbuch in absteigender Reihenfolge nach der Anzahl der Vorkommen verschiedener Datenkategorien sortieren und dann den ersten Wert des Wörterbuchs zurückgeben, um die Datenkategorie der Testdaten zu erhalten.

7. Der Algorithmuscode lautet wie folgt:

from numpy import *
import operator
def knn(k, test_data, train_data, labels):
    train_size = train_data.shape[0]    #获取训练数据的行数
    test_size = tile(test_data, (train_size, 1))    #将测试数据的行升维
    minus = test_size-train_data    #得到向量
    sq_minus = minus**2
    sum_sq_minus = sq_minus.sum(axis=1)        #得到平方后的每个数组内元素的和
    distc = sum_sq_minus**0.5
    sort_distc = distc.argsort()    #将距离按升序排列
    static = {}
    for i in range(0, k):
        vote = labels[sort_distc[i]]    #获取数据类型
        static[vote] = static.get(vote, 0)+1    #统计每个数据类型的出现次数
    sort_static = sorted(static.items(), key=operator.itemgetter(1), reverse=True)    #将字典中的元素按出现次数降序排列
    return sort_static[0][0]    #返回出现次数最多的数据类型

8 Das Wörterbuch muss im Algorithmus sortiert werden, daher muss die Funktion sorted() verwendet werden hat drei Parameter, nämlich items.itemgetter(), reverse, die Standardsortierung ist aufsteigend. Wenn wir in absteigender Reihenfolge sortieren möchten, müssen wir den dritten Parameter auf True setzen die Werte des Wörterbuchs, daher müssen wir sorted(static.items(), key=operator.itemgetter(1), reverse=True) eingeben. Wenn der Wert in der Funktion „operator.itemgetter()“ 1 ist, wird er nach den Werten des Wörterbuchs sortiert, und wenn der Wert 0 ist , es ist nach den Schlüsseln des Wörterbuchs sortiert.

9 Der Zugriff auf Elemente nach dem Sortieren ist derselbe wie der Zugriff auf zweidimensionale Array-Elemente

Das obige ist der detaillierte Inhalt vonDetaillierte Einführung in den KNN-Algorithmus (k-Nearest-Neighbor-Algorithmus) in Python (mit Beispielen). Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!