この記事では、Python の前処理とヒート マップについて簡単に紹介します。一定の参考値があります。困っている友人は参照してください。お役に立てれば幸いです。
データ分析にはまだまだやるべきことがたくさんあります。ここではヒューリスティックな紹介をするだけです。この点を理解した後、使用する際に解決策をより早く見つけることができます。皆様のお役に立てば幸いです。
今回も sklearn で設定した虹彩データを使用し、ヒート マップで表示します。
前処理
sklearn.preprocessing は、機械学習ライブラリの前処理モジュールで、データの標準化、正規化などを行い、必要に応じて使用できます。ここでは、その標準化された方法を使用してデータを整理します。他の方法は自分で問い合わせることができます。
標準化: 特徴データの分布を標準正規分布 (ガウス分布とも呼ばれる) に調整します。これは、データの平均が 0、分散が 1 であることを意味します。
標準化の理由は、一部の特徴の分散が大きすぎると、その分散が目的関数を支配し、パラメーター推定器が他の特徴を正しく学習できなくなるためです。
標準化プロセスは、平均の分散化 (平均が 0 になる) と分散のスケーリング (分散が 1 になる) の 2 つのステップです。
上記の機能を実現するために、sklearn.preprocessing にはスケールメソッドが提供されています。
例を見てみましょう:
from sklearn import preprocessing import numpy as np # 创建一组特征数据,每一行表示一个样本,每一列表示一个特征 xx = np.array([[1., -1., 2.], [2., 0., 0.], [0., 1., -1.]]) # 将每一列特征标准化为标准正太分布,注意,标准化是针对每一列而言的 xx_scale = preprocessing.scale(xx) xx_scale
各列のデータを正規化した後の結果は次のとおりです:
array([[ 0. , -1.22474487, 1.33630621], [ 1.22474487, 0. , -0.26726124], [-1.22474487, 1.22474487, -1.06904497]])
内部のデータに変化があり、数値が変化していることがわかります。値は比較的小さいため、一目でわかる人もいるかもしれませんが、見えなくても問題ありません。Python では統計の一部を簡単に計算できます。
# 测试一下xx_scale每列的均值方差 print('均值:', xx_scale.mean(axis=0)) # axis=0指列,axis=1指行 print('方差:', xx_scale.std(axis=0))
上記では、標準化が何に変換されるかを紹介しましたが、結果は確かに一貫しています。列ごとに平均と分散を計算した結果は次のとおりです:
均值: [0. 0. 0.] 方差: [1. 1. 1.]
もちろん、標準化のためです。 , 分散と平均 これを一緒に行う必要はありません。たとえば、どちらかの方法だけを利用したい場合があります。
with_mean,with_std という方法もあります。これらは両方ともブール値パラメータであり、デフォルトではどちらも true ですが、false にカスタマイズすることもできます。つまり、平均中心化や分散スケーリングを 1 にしないでください。
heatmap
ヒートマップについては、すでにインターネット上に詳細な情報がたくさんあるので、ここでは簡単に説明します。
ヒート マップではデータがマトリックス状に存在し、属性範囲を色のグラデーションで表現しますが、ここでは pcolor を使用してヒート マップを描画します。
小 Lizi
それでもインポート ライブラリから開始して、データ セットをロードし、データを処理して、画像を描画し、画像に注釈や装飾を追加します。私はコードにコメントすることに慣れています。わからないことがあれば、メッセージを残していただければ、すぐに返信します。
# 导入后续所需要的库 from sklearn.datasets import load_iris from sklearn.preprocessing import scale import numpy as np import matplotlib.pyplot as plt # 加载数据集 data = load_iris() x = data['data'] y = data['target'] col_names = data['feature_names'] # 数据预处理 # 根据平均值对数据进行缩放 x = scale(x, with_std=False) x_ = x[1:26,] # 选取其中25组数据 y_labels = range(1, 26) # 绘制热图 plt.close('all') plt.figure(1) fig, ax = plt.subplots() ax.pcolor(x_, cmap=plt.cm.Greens, edgecolors='k') ax.set_xticks(np.arange(0, x_.shape[1])+0.5) # 设置横纵坐标 ax.set_yticks(np.arange(0, x_.shape[0])+0.5) ax.xaxis.tick_top() # x轴提示显示在图形上方 ax.yaxis.tick_left() # y轴提示显示在图形的左侧 ax.set_xticklabels(col_names, minor=False, fontsize=10) # 传递标签数据 ax.set_yticklabels(y_labels, minor=False, fontsize=10) plt.show()
それでは、描画されたイメージはどのようになりますか:
これらの簡単な手順に従ってください。データは直感的なものを描画します。もちろん、実際に使ってみるとそう簡単ではなく、さらに知識を深めていく必要があります。
以上がPython の前処理とヒートマップの簡単な紹介の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。