机器学习 - 缩放
缩放特征
当您的数据具有不同的值,甚至不同的测量单位时,很难进行比较。公斤与米相比如何?或者海拔与时间相比?
解决这个问题的办法就是缩放。我们可以将数据缩放到更容易比较的新值。
请看下面的表格,它与我们在多元回归章节中使用的相同数据集,但这次volume列中的值是以升而不是cm3(1.0 而不是 1000)。
汽车 | Model | 音量 | Weight | CO2 |
丰田 | Aygo | 1.0 | 790 | 99 |
Mitsubishi | Space Star | 1.2 | 1160 | 95 |
Skoda | Citigo | 1.0 | 929 | 95 |
Fiat | 500 | 0.9 | 865 | 90 |
迷你 | Cooper | 1.5 | 1140 | 105 |
VW | Up! | 1.0 | 929 | 105 |
Skoda | Fabia | 1.4 | 1109 | 90 |
奔驰 | A-Class | 1.5 | 1365 | 92 |
福特 | Fiesta | 1.5 | 1112 | 98 |
奥迪 | A1 | 1.6 | 1150 | 99 |
Hyundai | I20 | 1.1 | 980 | 99 |
Suzuki | Swift | 1.3 | 990 | 101 |
福特 | Fiesta | 1.0 | 1112 | 99 |
本田 | Civic | 1.6 | 1252 | 94 |
Hundai | I30 | 1.6 | 1326 | 97 |
Opel | Astra | 1.6 | 1330 | 97 |
宝马 | 1 | 1.6 | 1365 | 99 |
Mazda | 3 | 2.2 | 1280 | 104 |
Skoda | Rapid | 1.6 | 1119 | 104 |
福特 | Focus | 2.0 | 1328 | 105 |
福特 | Mondeo | 1.6 | 1584 | 94 |
Opel | Insignia | 2.0 | 1428 | 99 |
奔驰 | C-Class | 2.1 | 1365 | 99 |
Skoda | Octavia | 1.6 | 1415 | 99 |
沃尔沃 | S60 | 2.0 | 1415 | 99 |
奔驰 | CLA | 1.5 | 1465 | 102 |
奥迪 | A4 | 2.0 | 1490 | 104 |
奥迪 | A6 | 2.0 | 1725 | 114 |
沃尔沃 | V70 | 1.6 | 1523 | 109 |
宝马 | 5 | 2.0 | 1705 | 114 |
奔驰 | E-Class | 2.1 | 1605 | 115 |
沃尔沃 | XC70 | 2.0 | 1746 | 117 |
福特 | B-Max | 1.6 | 1235 | 104 |
宝马 | 2 | 1.6 | 1390 | 108 |
Opel | Zafira | 1.6 | 1405 | 109 |
奔驰 | SLK | 2.5 | 1395 | 120 |
很难比较体积 1.0 和重量 790,但如果我们都将它们缩放到可比较的值,我们就可以轻松地看到一个值与另一个值相比的量。
有不同的缩放数据的方法,在本教程中我们将使用一种称为标准化的方法。
标准化方法使用此公式
z = (x - u) / s
其中 z
是新值,x
是原始值,u
是平均值,s
是标准差。
如果您从上面的数据集中获取weight列,第一个值是 790,缩放后的值将是
(790 - 1292.23) / 238.74 = -2.1
如果您从上面的数据集中获取volume列,第一个值是 1.0,缩放后的值将是
现在您可以比较 -2.1 和 -1.59,而不是比较 790 和 1.0。
您不必手动执行此操作,Python sklearn 模块有一个名为 StandardScaler()
的方法,该方法返回一个具有转换数据集方法的 Scaler 对象。
示例
缩放 Weight 和 Volume 列中的所有值
import pandas
from sklearn import linear_model
from sklearn.preprocessing import StandardScaler
scale = StandardScaler()
df = pandas.read_csv("data.csv")
X = df[['Weight', 'Volume']]
scaledX = scale.fit_transform(X)
print(scaledX)
结果
请注意,前两个值是 -2.1 和 -1.59,这与我们的计算相符
[[-2.10389253 -1.59336644] [-0.55407235 -1.07190106] [-1.52166278 -1.59336644] [-1.78973979 -1.85409913] [-0.63784641 -0.28970299] [-1.52166278 -1.59336644] [-0.76769621 -0.55043568] [ 0.3046118 -0.28970299] [-0.7551301 -0.28970299] [-0.59595938 -0.0289703 ] [-1.30803892 -1.33263375] [-1.26615189 -0.81116837] [-0.7551301 -1.59336644] [-0.16871166 -0.0289703 ] [ 0.14125238 -0.0289703 ] [ 0.15800719 -0.0289703 ] [ 0.3046118 -0.0289703 ] [-0.05142797 1.53542584] [-0.72580918 -0.0289703 ] [ 0.14962979 1.01396046] [ 1.2219378 -0.0289703 ] [ 0.5685001 1.01396046] [ 0.3046118 1.27469315] [ 0.51404696 -0.0289703 ] [ 0.51404696 1.01396046] [ 0.72348212 -0.28970299] [ 0.8281997 1.01396046] [ 1.81254495 1.01396046] [ 0.96642691 -0.0289703 ] [ 1.72877089 1.01396046] [ 1.30990057 1.27469315] [ 1.90050772 1.01396046] [-0.23991961 -0.0289703 ] [ 0.40932938 -0.0289703 ] [ 0.47215993 -0.0289703 ] [ 0.4302729 2.31762392]]
预测 CO2 值
在多元回归章节中的任务是预测汽车的 CO2 排放量,而您只知道其重量和体积。
当数据集被缩放时,您必须在使用值进行预测时使用缩放值
示例
预测一辆 1.3 升、重 2300 公斤的汽车的 CO2 排放量
import pandas
from sklearn import linear_model
from sklearn.preprocessing import StandardScaler
scale = StandardScaler()
df = pandas.read_csv("data.csv")
X = df[['Weight', 'Volume']]
y = df['CO2']
scaledX = scale.fit_transform(X)
regr = linear_model.LinearRegression()
regr.fit(scaledX, y)
scaled = scale.transform([[2300, 1.3]])
predictedCO2 = regr.predict([scaled[0]])
print(predictedCO2)
结果
[107.2087328]