Univariate lineare Regression

Univariate lineare Regression ist ein überwachter Lernalgorithmus zur Lösung von Regressionsproblemen. Es passt die Datenpunkte in einem bestimmten Datensatz mithilfe einer geraden Linie an und verwendet dieses Modell, um Werte vorherzusagen, die nicht im Datensatz enthalten sind.

Prinzip der univariaten linearen Regression

Das Prinzip der univariaten linearen Regression besteht darin, die Beziehung zwischen einer unabhängigen Variablen und einer abhängigen Variablen zu verwenden, um die Beziehung zwischen ihnen durch Anpassen einer geraden Linie zu beschreiben. Durch Methoden wie die Methode der kleinsten Quadrate wird die Summe der Quadrate der vertikalen Abstände aller Datenpunkte zu dieser passenden geraden Linie minimiert, wodurch die Parameter der Regressionslinie erhalten und dann der abhängige Variablenwert des neuen Datenpunkts vorhergesagt wird .

Die allgemeine Form des univariaten linearen Regressionsmodells ist y=ax+b, wobei a die Steigung und b der Achsenabschnitt ist. Durch die Methode der kleinsten Quadrate können Schätzungen von a und b erhalten werden, um die Lücke zwischen den tatsächlichen Datenpunkten und der angepassten geraden Linie zu minimieren.

Univariate lineare Regression bietet die folgenden Vorteile: schnelle Operationsgeschwindigkeit, gute Interpretierbarkeit und gute Fähigkeit, lineare Beziehungen in Datensätzen zu entdecken. Wenn die Daten jedoch nichtlinear sind oder eine Korrelation zwischen Merkmalen besteht, kann die univariate lineare Regression komplexe Daten möglicherweise nicht gut modellieren und ausdrücken.

Einfach ausgedrückt ist die univariate lineare Regression ein lineares Regressionsmodell mit nur einer unabhängigen Variablen.

Vor- und Nachteile der univariaten linearen Regression

Zu den Vorteilen der univariaten linearen Regression gehören:

• Schnelle Betriebsgeschwindigkeit: Da der Algorithmus einfach ist und mathematischen Prinzipien entspricht, ist die Modellierung und Vorhersage des Univariaten möglich Linearer Regressionsalgorithmus mit hoher Geschwindigkeit.
• Starke Interpretierbarkeit: Schließlich kann ein mathematischer Funktionsausdruck erhalten und der Einfluss jeder Variablen anhand der berechneten Koeffizienten geklärt werden.
• Gut darin, lineare Beziehungen in Datensätzen zu ermitteln.

Zu den Nachteilen der univariaten linearen Regression gehören:

• Bei nichtlinearen Daten oder der Korrelation zwischen Datenmerkmalen kann es schwierig sein, die univariate lineare Regression zu modellieren.
• Es ist schwierig, hochkomplexe Daten gut auszudrücken.

Wie wird bei der univariaten linearen Regression die quadratische Fehlerverlustfunktion berechnet?

Bei der univariaten linearen Regression verwenden wir normalerweise die quadratische Fehlerverlustfunktion, um den Vorhersagefehler des Modells zu messen.

Die Berechnungsformel der quadratischen Fehlerverlustfunktion lautet:

L(θ0,θ1)=12n∑i=1n(y_i−(θ0+θ1x_i))2

wobei:

• n ist die Anzahl der Stichproben
• y_i ist der tatsächliche Wert der i-ten Stichprobe
• θ0 und θ1 sind die Modellparameter
• x_i ist der unabhängige Variablenwert der i-ten Stichprobe

In Bei der univariaten linearen Regression gehen wir davon aus, dass y zwischen x und y = θ0 + θ1x besteht. Daher kann der vorhergesagte Wert durch Einsetzen der unabhängigen Variablen x in das Modell erhalten werden, d. h. y_pred=θ0+θ1x_i.

Je kleiner der Wert der Verlustfunktion L ist, desto kleiner ist der Vorhersagefehler des Modells und desto besser ist die Leistung des Modells. Daher können wir die optimalen Modellparameter erhalten, indem wir die Verlustfunktion minimieren.

Bei der Gradientenabstiegsmethode nähern wir uns schrittweise der optimalen Lösung, indem wir die Werte der Parameter iterativ aktualisieren. Bei jeder Iteration wird der Wert des Parameters entsprechend dem Gradienten der Verlustfunktion aktualisiert, d ist die Lernrate, die jeweils das Ausmaß der Parameteränderung während der Iteration steuert.

Bedingungen und Schritte für die univariate lineare Regression unter Verwendung der Gradientenabstiegsmethode

Zu den Bedingungen für die Verwendung der Gradientenabstiegsmethode zur Durchführung einer univariaten linearen Regression gehören:

1) Die Zielfunktion ist differenzierbar. Bei der univariaten linearen Regression verwendet die Verlustfunktion normalerweise den quadratischen Fehlerverlust, bei dem es sich um eine differenzierbare Funktion handelt.

2) Es gibt ein globales Minimum. Für die quadratische Fehlerverlustfunktion gibt es ein globales Minimum, das auch eine Bedingung für die univariate lineare Regression unter Verwendung des Gradientenabstiegs ist.

Die Schritte zur Verwendung der Gradientenabstiegsmethode zur Durchführung einer univariaten linearen Regression sind wie folgt:

1. Parameter initialisieren. Wählen Sie einen Anfangswert, normalerweise 0, als Anfangswert für den Parameter.

2. Berechnen Sie den Gradienten der Verlustfunktion. Basierend auf der Beziehung zwischen der Verlustfunktion und den Parametern wird der Gradient der Verlustfunktion in Bezug auf die Parameter berechnet. Bei der univariaten linearen Regression ist die Verlustfunktion normalerweise der quadratische Fehlerverlust und die Formel zur Gradientenberechnung lautet: θ − y (x) x.

3. Parameter aktualisieren. Aktualisieren Sie gemäß dem Gradientenabstiegsalgorithmus den Wert des Parameters, nämlich: θ=θ−αθ−y(x)x. Unter diesen ist α die Lernrate (Schrittgröße), die die Änderung der Parameter in jeder Iteration steuert.

4. Wiederholen Sie Schritt 2 und Schritt 3, bis die Stoppbedingung erfüllt ist. Die Stoppbedingung kann sein, dass die Anzahl der Iterationen einen voreingestellten Wert erreicht, der Wert der Verlustfunktion kleiner als ein voreingestellter Schwellenwert ist oder andere geeignete Bedingungen.

Die oben genannten Schritte sind der grundlegende Prozess der Verwendung der Gradientenabstiegsmethode zur Durchführung einer univariaten linearen Regression. Es ist zu beachten, dass die Wahl der Lernrate im Gradientenabstiegsalgorithmus die Konvergenzgeschwindigkeit des Algorithmus und die Qualität der Ergebnisse beeinflusst und daher an die spezifische Situation angepasst werden muss.

Das obige ist der detaillierte Inhalt vonUnivariate lineare Regression. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!