Python数据标准化

目录


一.数据标准化方式

1.实现中心化和正态分布的Z-Score

        Z-Score标准化是基于原始数据的均值和标准差进行的标准化,假设原转换的数据为x,新数据为x',那么x'=(x-mean)/std,其中mean和std为x所在列的均值和标准差。

        这种方法适合大多数类型的数据,也是很多工具的默认标准化方法。标准化之后的数据是以0为均值,方差为1的正态分布。但是Z-Score方法是一种中心化方法,会改变原有数据的分布结构,不适合用于对稀疏数据做处理。

在很多时候,数据集会存在稀疏性特征,表现为标准差小。并有很多元素的值为0.最常见的稀疏数据集是用来做协同过滤的数据集,绝大部分的数据都是0,仅有少部分数据为1。对稀疏数据做标准化,不能采用中心化的方式,否则会破坏稀疏数据的结构。

2.实现归一化的Max-Min

        Max-Min标准化方法是对原始数据进行线性变换,假设原转换的数据为x,新数据为x',那么x'=(x-min)/(max-min),其中min和max为x所在列的最小值和最大值。

        这种标准化方法的应用非常广泛,得到的数据会完全落入[0,1],区间内(Z-Score则没有类似区间),这种方法能使数据归一化而落到一定的区间内,同时还能较好地保持原有数据结构。

3.用于稀疏数据的MaxAbs

        最大值绝对值标准化(MaxAbs)即根据最大值的绝对值进行标准化,假设原转换的数据为x,新数据为x',那么x'=x/|max|,其中max为x所在列的最大值。

        MaxAbs方法跟Max-Min用法类似,也是将数据落入一定区间,但该方法的数据区间为[-1,1]。MaxAbs也具有不破坏原有数据分布结构的特点,因此也可以用于稀疏数据、稀疏的CSR或CSC矩阵。

4.针对离群点的RobustScaler

        某种情况下,假如数据集中有离群点,我们可以使用Z-Score进行标准化,但是标准化之后的数据并不理想,因为异常点的特征往往在标准化之后便容易失去离群特征。此时可以使用RobustScaler针对离群点做标准化处理,该方法对数据中心化和数据的缩放健壮性有更强的参数控制能力。

二.Python针对以上几种标准化方法处理数据

import numpy as np
from sklearn import preprocessing
import matplotlib.pyplot as plt
data=np.loadtxt(r"F:\小橙书\chapter3\data6.txt",delimiter='\t')

# Z-Score标准化
zscore_scaler=preprocessing.StandardScaler()
data_scaler_1=zscore_scaler.fit_transform(data)
# Max-Min标准化
minmax_scaler=preprocessing.MinMaxScaler()
data_scaler_2=minmax_scaler.fit_transform(data)
# MaxAbs标准化
maxabs_scaler=preprocessing.MaxAbsScaler()
data_scaler_3=maxabs_scaler.fit_transform(data)
# RobustScaler准化
robust_scaler=preprocessing.RobustScaler()
data_scaler_4=robust_scaler.fit_transform(data)

data_list=[data,data_scaler_1,data_scaler_2,data_scaler_3,data_scaler_4]
scaler_list=[15,10,15,10,15,10] #创建点尺寸列表
color_list=['pink','green','red','orange','blue']
marker_list=['o',',','+','s','p']
title_list=['source data','zscore_scaler','minmax_scaler','maxabs_scaler','robust_scaler']
plt.figure(figsize=(15,8))
for i,data_single in enumerate(data_list):
    plt.subplot(2,3,i+1)
    plt.scatter(data_single[:,0],data_single[:,-1]
               ,s=scaler_list[i]
               ,marker=marker_list[i]
               ,c=color_list[i])
    plt.title=title_list[i]
plt.suptitle("row data and standardized data")
plt.show()

Python数据标准化  三.总结  

(1)如果要做中心化处理,并且对数据分布有正态需求,则使用Z-Score方法。

(2)如果要进行0-1标准化或要指定标准化后的数据分布范围,Max-Min标准化或MaxAbs标准化是比较好的选择。

(3)如果要对稀疏数据进行处理,Max-Min标准化或MaxAbs标准化仍是理想方法。

(4)如果要最大限度保留数据集中的异常,则使用RobustScaler方法。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
心中带点小风骚的头像心中带点小风骚普通用户
上一篇 2023年3月5日 下午12:14
下一篇 2023年3月5日 下午12:15

相关推荐