Kesan penskalaan ciri pada penyelesaian optimum tempatan

Penskalaan ciri memainkan peranan penting dalam pembelajaran mesin, dan ia mempunyai hubungan rapat dengan optimum tempatan. Penskalaan ciri merujuk kepada penskalaan data ciri supaya mempunyai julat berangka yang serupa. Tujuannya adalah untuk mengelakkan ciri-ciri tertentu daripada memberi kesan yang berlebihan pada keputusan semasa latihan model, dengan itu menjadikan model lebih stabil dan tepat. Optimum tempatan merujuk kepada penyelesaian optimum yang terdapat di kawasan tempatan, tetapi ia tidak semestinya penyelesaian optimum global. Dalam pembelajaran mesin, algoritma pengoptimuman sering mencari penyelesaian optimum secara berulang. Jika julat data ciri sangat berbeza, maka semasa proses latihan model, beberapa ciri mungkin memberi kesan yang lebih besar pada penumpuan algoritma pengoptimuman, menyebabkan algoritma jatuh ke dalam optimum tempatan dan gagal mencari penyelesaian optimum global. Untuk menyelesaikan masalah ini, kita boleh menskalakan ciri. Tujuan penskalaan ciri dengan melaraskan perkadaran data ciri kepada serupa

adalah untuk memastikan julat berangka bagi ciri yang berbeza adalah serupa dan untuk mengelakkan ciri tertentu daripada mempunyai kesan yang berlebihan pada hasil latihan model.

Andaikan kita mempunyai masalah regresi linear yang mudah, dicirikan oleh keluasan rumah (unit: meter persegi) dan harga rumah (unit: 10,000 yuan). Jika kami tidak menskalakan ciri dan terus menggunakan data asal untuk pemodelan, kami mungkin menghadapi masalah optimum setempat. Ini adalah kerana julat berangka ciri mungkin berbeza, menyebabkan model itu mengutamakan ciri dengan nilai yang lebih besar dalam pengiraan. Untuk menyelesaikan masalah ini, kita boleh menskalakan ciri, seperti menggunakan normalisasi min atau penyeragaman, untuk menskalakan nilai ciri kepada julat nilai yang sama. Ini memastikan model memberikan kepentingan yang sama kepada semua ciri semasa mengira,

import numpy as np
from sklearn.linear_model import LinearRegression

# 原始数据
area = np.array([100, 150, 200, 250, 300]).reshape(-1, 1)
price = np.array([50, 75, 100, 125, 150])

# 不进行特征缩放的线性回归
model_unscaled = LinearRegression()
model_unscaled.fit(area, price)

# 缩放数据
area_scaled = (area - np.mean(area)) / np.std(area)
price_scaled = (price - np.mean(price)) / np.std(price)

# 进行特征缩放的线性回归
model_scaled = LinearRegression()
model_scaled.fit(area_scaled, price_scaled)

Dalam kod di atas, kami mula-mula menggunakan data bukan berskala ciri untuk melaksanakan pemodelan regresi linear, dan kemudian menggunakan data berskala ciri untuk melaksanakan regresi linear pemodelan Pemodelan regresi.

Memandangkan unit kawasan dan harga adalah berbeza, algoritma regresi linear mungkin sesuai dengan ciri kawasan dengan lebih ketara dan mengabaikan harga. Penskalaan ciri adalah perlu untuk mengelakkan kesesuaian model yang kurang sesuai berhampiran optimum tempatan.

Masalah ini boleh dielakkan dengan menskalakan ciri supaya kedua-dua ciri mempunyai skala yang sama. Dengan melakukan pemodelan regresi linear pada data berskala ciri, model boleh merawat kedua-dua ciri dengan lebih sekata, mengurangkan masalah titik optimum setempat yang disebabkan oleh pengaruh skala yang berbeza.

Perlu diingatkan bahawa penskalaan ciri dalam kod menggunakan normalisasi dan penyeragaman min, dan kaedah penskalaan ciri yang sesuai boleh dipilih mengikut situasi sebenar.

Ringkasnya, penskalaan ciri membantu mengelakkan keoptimuman tempatan Dengan menyatukan skala, ia memastikan keseimbangan pemberat ciri dan meningkatkan keupayaan model untuk menyingkirkan mata optimum tempatan dengan lebih baik semasa proses latihan, sekali gus meningkatkan kemungkinan berlakunya. pengoptimuman keseluruhan.

Atas ialah kandungan terperinci Kesan penskalaan ciri pada penyelesaian optimum tempatan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!