机器学习——主成分分析(PCA)

#先随便创建一个具有相关性的数据集
import numpy as np
from matplotlib import pyplot as plt
from numpy import linalg

np.random.seed(2)
#构造数据集
x1=[i for i in np.arange(1,10,0.1)]
x2=[np.random.uniform(2,4)*i+np.random.randn() for i in x1]
plt.scatter(x1,x2)

#zeros创建一个符合shape的随机矩阵,其实不是全0矩阵,也可能是一些随机的数字
#将数据集转化成矩阵形式
x=np.zeros((90,2))
x[:,0]=np.array(x1)
x[:,1]=np.array(x2)
x.shape

#(90, 2)



第一步中心化

#axis参数是选择计算行方向的均值还是列方向的均值
data_array=x
mean_array=np.mean(data_array,axis=0)
center_array=data_array-mean_array


#或者用subtract
center_array=np.subtract(data_array,np.mean(data_array,axis=0) )

第二步计算协方差矩阵和特征值、特征向量

#rowvar参数是选择行为一个样本还是列为样本
cov_array=np.cov(center_array,rowvar=False)

eig_vals, eig_vects = linalg.eig(cov_array)

"""
#特征值
(array([ 1.23589914, 80.95385223]),

#特征向量
 array([[-0.96430755, -0.26478471],
        [ 0.26478471, -0.96430755]]))

其中特征值 1.23589914对应的特征向量是array([-0.96430755,0.26478471])


"""
#这里应该选取前K个最大的特征值也就是主成分
#方便理解算法这里选取了所有特征值
#获取特征值排序的索引
val_index=np.argsort(eig_vals)
#逆序
val_index=val_index[::-1]
#选取对应的特征向量
eig_vect=eig_vects [:,val_index]
#这里选取第一个主成分矩阵
np.dot(center_array, eig_vect)[:,0]

第一个主成分矩阵
调用sklearn模块进行验证

from sklearn.decomposition import PCA
data_mat = x
pca = PCA(n_components=1)
pca.fit(data_mat)
x_p=pca.fit(data_mat).transform(data_mat)
x_p

#结果是一致的

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
上一篇 2022年5月24日 下午12:27
下一篇 2022年5月24日 下午12:32

相关推荐

本站注重文章个人版权,不会主动收集付费或者带有商业版权的文章,如果出现侵权情况只可能是作者后期更改了版权声明,如果出现这种情况请主动联系我们,我们看到会在第一时间删除!本站专注于人工智能高质量优质文章收集,方便各位学者快速找到学习资源,本站收集的文章都会附上文章出处,如果不愿意分享到本平台,我们会第一时间删除!