t-SNE演算法的原理與Python程式碼實作詳解

T分佈隨機鄰域嵌入(t-SNE)，是一種用於視覺化的無監督機器學習演算法，使用非線性降維技術，根據資料點與特徵的相似性，試圖最小化高維和低維空間中這些條件機率(或相似性)之間的差異，以在低維空間中完美表示資料點。

因此，t-SNE擅長在二維或三維的低維空間中嵌入高維度資料以進行視覺化。需要注意的是，t-SNE使用重尾分佈來計算低維空間中兩點之間的相似度，而不是高斯分佈，這有助於解決擁擠和最佳化問題。而且離群值不影響t-SNE。

t-SNE演算法步驟

1.找出高維度空間中相鄰點之間的配對相似性。

2.根據高維空間中點的配對相似性，將高維空間中的每個點映射到低維映射。

3.使用基於Kullback-Leibler散度(KL散度)的梯度下降找到最小化條件機率分佈之間的不匹配的低維資料表示。

4.使用Student-t分佈計算低維度空間中兩點之間的相似度。

MNIST資料集上實作t-SNE的Python程式碼

#導入模組

# Importing Necessary Modules.
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.manifold import TSNE
from sklearn.preprocessing import StandardScaler

讀取資料

# Reading the data using pandas
df = pd.read_csv('mnist_train.csv')

# print first five rows of df
print(df.head(4))

# save the labels into a variable l.
l = df['label']

# Drop the label feature and store the pixel data in d.
d = df.drop("label", axis = 1)

資料預處理

# Data-preprocessing: Standardizing the data
from sklearn.preprocessing import StandardScaler

standardized_data = StandardScaler().fit_transform(data)
print(standardized_data.shape)

輸出

# TSNE
# Picking the top 1000 points as TSNE
# takes a lot of time for 15K points
data_1000 = standardized_data[0:1000, :]
labels_1000 = labels[0:1000]

model = TSNE(n_components = 2, random_state = 0)
# configuring the parameters
# the number of components = 2
# default perplexity = 30
# default learning rate = 200
# default Maximum number of iterations
# for the optimization = 1000

tsne_data = model.fit_transform(data_1000)

# creating a new data frame which
# help us in plotting the result data
tsne_data = np.vstack((tsne_data.T, labels_1000)).T
tsne_df = pd.DataFrame(data = tsne_data,
columns =("Dim_1", "Dim_2", "label"))

# Plotting the result of tsne
sn.FacetGrid(tsne_df, hue ="label", size = 6).map(
plt.scatter, 'Dim_1', 'Dim_2').add_legend()

plt.show()

#

以上是t-SNE演算法的原理與Python程式碼實作詳解的詳細內容。更多資訊請關注PHP中文網其他相關文章！