Der Unterschied zwischen Boosting und Bootstrap

Bootstrap und Boosting sind mehrere häufig verwendete Resampling-Methoden beim maschinellen Lernen. Unter diesen wird die Bootstrap-Resampling-Methode hauptsächlich für die Schätzung von Statistiken verwendet, und die Boosting-Methode wird hauptsächlich für die Kombination mehrerer Unterklassifikatoren verwendet.

Bootstrap: Resampling-Methode zum Schätzen von Statistiken (Empfohlenes Lernen: Python-Video-Tutorial)

Die Bootstrap-Methode besteht darin, n Stichprobenpunkte aus dem ursprünglichen Trainingsdatensatz DD der Größe n zufällig auszuwählen, um einen neuen Trainingssatz zu bilden. Dieser Auswahlvorgang wird B-mal unabhängig wiederholt, und dann werden die Modellstatistiken anhand dieser B-Datensätze berechnet. Schätzungen (wie Mittelwert, Varianz usw.). Da die Größe des ursprünglichen Datensatzes n beträgt, wird es in diesen B neuen Trainingssätzen zwangsläufig doppelte Stichproben geben.

Der geschätzte Wert der Statistik ist definiert als der Durchschnitt der geschätzten Werte θbθb für unabhängige B-Trainingssätze:

Boosting:

Boosting trainiert k Unterklassifikatoren nacheinander, und das endgültige Klassifizierungsergebnis wird durch Abstimmung dieser Unterklassifikatoren bestimmt.

Wählen Sie zunächst zufällig n1n1 Stichproben aus dem ursprünglichen Trainingsdatensatz der Größe n aus, um den ersten Klassifikator zu trainieren, der als C1C1 bezeichnet wird, und erstellen Sie dann den Trainingssatz D2D2 des zweiten Klassifikators C2C2. Anforderungen: D2D2 Proben können durch C1C1 korrekt klassifiziert werden, während die andere Hälfte der Proben durch C1C1 falsch klassifiziert wird.

Konstruieren Sie dann weiterhin den Trainingssatz D3D3 des dritten Klassifikators C3C3. Die Anforderungen sind: C1C1 und C2C2 haben unterschiedliche Klassifizierungsergebnisse für die Proben in D3D3. Die übrigen Unterklassifikatoren werden auf ähnliche Weise trainiert.

Das Hauptprinzip des Boostens zum Erstellen eines neuen Trainingssatzes besteht darin, die aussagekräftigsten Beispiele zu verwenden.

Weitere technische Artikel zum Thema Python finden Sie in der Spalte Python-Tutorial, um mehr darüber zu erfahren!

Das obige ist der detaillierte Inhalt vonDer Unterschied zwischen Boosting und Bootstrap. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!