首页 > 其他分享> 文章详细

PCA 主成分分析法

2021-02-02 07:32:18 阅读：359 来源： 互联网

标签：project self 分析法成分 components Var PCA sum

求解
高维数据的主成分
代码封装

主成分分析 Principal Component Analysis

一个非监督的机器学习算法
主要用于数据的降维
通过降维，可以发现更便于人类理解的特征
其他应用：可视化;去噪

样本间距大，区分度就更佳明显

问题：如何找到让样本间间距最大的轴？

如何定义样本间距？---- 使用方差（Varience）
方差表达式：
$ Var(x) = \frac{1}{m} \sum^m_{i=1}(x_i - \overline{x})^2 $

将样例的均值为0 （demean）
样本分布没有改变，只是坐标轴位置移动；这样样本在每个维度均值都为 0。

$x_i$ 是已经映射到新的坐标轴的值，这个轴只有两个维度，此处这个轴的方向记为 $w = (w_1, w_2)$；使得所有的样本，映射到 w 以后，方差值最大：

$Var(X_{project}) = \frac{1}{m} \sum^m_{i=1}( X^{(i)}{project} - \overline{X}{project} )^2 $
可写为：
$Var(X_{project}) = \frac{1}{m} \sum^m_{i=1} || X^{(i)}{project} - \overline{X}{project} ||^2 $

由于已经进行了demean，实际上 $\overline{X}_{project} = 0$，所以上式可写为
$Var(X_{project}) = \frac{1}{m} \sum^m_{i=1} || X^{(i)}_{project} ||^2 $

到此降维问题转化成了一个目标函数的最优化问题，使用梯度上升法解决

求解

高维数据的主成分

求出第一主成分以后，如何求出下一个主成分？
数据进行改变，将数据在第一个主成分上的分量去掉，在新的数据上求第一主成分。

高维向低维的映射

代码封装

import numpy as np


class PCA:

    def __init__(self, n_components):
        """初始化PCA"""
        assert n_components >= 1, "n_components must be valid"
        self.n_components = n_components
        self.components_ = None

    def fit(self, X, eta=0.01, n_iters=1e4):
        """获得数据集X的前n个主成分"""
        assert self.n_components <= X.shape[1], \
            "n_components must not be greater than the feature number of X"

        def demean(X):
            return X - np.mean(X, axis=0)

        def f(w, X):
            return np.sum((X.dot(w) ** 2)) / len(X)

        def df(w, X):
            return X.T.dot(X.dot(w)) * 2. / len(X)

        def direction(w):
            return w / np.linalg.norm(w)

        def first_component(X, initial_w, eta=0.01, n_iters=1e4, epsilon=1e-8):

            w = direction(initial_w)
            cur_iter = 0

            while cur_iter < n_iters:
                gradient = df(w, X)
                last_w = w
                w = w + eta * gradient
                w = direction(w)
                if (abs(f(w, X) - f(last_w, X)) < epsilon):
                    break

                cur_iter += 1

            return w

        X_pca = demean(X)
        self.components_ = np.empty(shape=(self.n_components, X.shape[1]))
        for i in range(self.n_components):
            initial_w = np.random.random(X_pca.shape[1])
            w = first_component(X_pca, initial_w, eta, n_iters)
            self.components_[i,:] = w

            X_pca = X_pca - X_pca.dot(w).reshape(-1, 1) * w

        return self

    def transform(self, X):
        """将给定的X，映射到各个主成分分量中"""
        assert X.shape[1] == self.components_.shape[1]

        return X.dot(self.components_.T)

    def inverse_transform(self, X):
        """将给定的X，反向映射回原来的特征空间"""
        assert X.shape[1] == self.components_.shape[0]

        return X.dot(self.components_)

    def __repr__(self):
        return "PCA(n_components=%d)" % self.n_components

标签：project,self,分析法,成分,components,Var,PCA,sum
来源： https://www.cnblogs.com/devwalks/p/14360144.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

PCA 主成分分析法

求解

高维数据 的主成分

代码封装

高维数据的主成分