数据预处理——数据无量纲化（归一化、标准化）

文章目录

在机器学习算法实践中，我们往往有着将不同规格的数据转换到同一规格，或不同分布的数据转换到某个特定分布的需求，这种需求统称为将数据“无量纲化”。

数据的无量纲化可以是线性的，也可以是非线性的。线性的无量纲化包括中心化（Zero-centered或者Meansubtraction）处理和缩放处理（Scale）。

中心化的本质是让所有记录减去一个固定值，即让数据样本数据平移到某个位置。
缩放的本质是通过除以一个固定值，将数据固定在某个范围之中，取对数也算是一种缩放处理。

1. 数据归一化

1.1 数据归一化定义

1.2 MinMaxScaler 归一化

sklearn.preprocessing.MinMaxScaler(feature_range=(0, 1), copy=True)

将数据的每一个特征缩放到给定的范围，将数据的每一个属性值减去其最小值，然后除以其极差（最大值 – 最小值）

数据转换：

X_std = (X - X.min(axis=0)) / (X.max(axis=0) - X.min(axis=0))

逆转换：

X_scaled = X_std * (max - min) + min

1.3 MinMaxScaler 使用样例

使用样例1：

from sklearn.preprocessing import MinMaxScaler
data = [[1, 2], [4, 4], [5, 6]]
scaler = MinMaxScaler(feature_range=(0, 1))  # 映射到 0-1 之间
scaler.fit(data)  # 适应数据，找出每列最大、小值，并存储
scaled_df_1 = scaler.transform(data)  # 转换数据

print(scaler.data_max_)  # 最大值   [ 5.  6.]
print(scaler.data_min_)  # 最小值   [ 1.  2.]
print(scaled_df_1)
# scaled_df_1:
# [[ 0.    0.  ]
#  [ 0.75  0.5 ]
#  [ 1.    1.  ]]

scaled_df_2 = scaler.fit_transform(data)   # 将fit,transform一步到位
print(scaled_df_2)
# scaled_df_2
# [[ 0.    0.  ]
#  [ 0.75  0.5 ]
#  [ 1.    1.  ]]

inverse_df = scaler.inverse_transform(scaled_df_1) # 逆转换数据
print(inverse_df)
# inverse_df
# [[ 1.  2.]
#  [ 4.  4.]
#  [ 5.  6.]]

使用样例2：

2. 数据标准化

2.1 数据标准化定义

2.2 StandardScaler 标准化

sklearn.preprocessing.StandardScaler(copy=True, with_mean=True, with_std=True)

2.3 StandardScaler 使用样例

对于StandardScaler和MinMaxScaler来说，空值NaN会被当做是缺失值，在fit的时候忽略，在transform的时候保持缺失NaN的状态显示。并且，尽管去量纲化过程不是具体的算法，但在fit接口中，依然只允许导入至少二维数组，一维数组导入会报错。通常来说，我们输入的X会是我们的特征矩阵，现实案例中特征矩阵不太可能是一维所以不会存在这个问题。

StandardScaler和MinMaxScaler选哪个？

大多数机器学习算法中，会选择StandardScaler来进行特征缩放，因为MinMaxScaler对异常值非常敏感。在PCA，聚类，逻辑回归，支持向量机，神经网络这些算法中，StandardScaler往往是最好的选择

MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛，比如数字图像处理中量化像素强度时，都会使用MinMaxScaler将数据压缩于[0,1]区间之中。

sklearn中也提供了各种其他缩放处理（中心化只需要一个pandas广播一下减去某个数就好了，因此sklearn不提供任何中心化功能）。比如，在希望压缩数据，却不影响数据的稀疏性时（不影响矩阵中取值为0的个数时），我们会使用MaxAbsScaler；在异常值多，噪声非常大时，我们可能会选用分位数来无量纲化，此时使用RobustScaler。