統計検定準1級 22.主成分分析

学術図書出版社

主成分分析とは、多変量の情報を少数個の主成分と呼ばれる合成変数で記述する方法。情報の縮約や次元圧縮を目的とした手法である。高次元のデータのばらつきが、少数個の主成分からなる低次元空間内で出来るだけ再現できるようにする。したがって主成分の分散最大化と主成分間の無相関化（直行化）が必要である。これは固有値と固有ベクトルを求めることにより実現できる。
100点満点のテストのようにデータの単位が揃っている場合は、分散共分散行列と相関行列のどちらを使って主成分分析をしても良い。単位が揃っていない場合は、相関行列を使って無単位化を行った主成分分析が適切である。

標本の分散共分散行列と相関行列

変数を $p$ 個、個体数を $n$ としてデータを $X$ のように表現する。
$X=(X_{i,j})_{1\leq i \leq n,1\leq j\leq p}=\begin{pmatrix} x_{1,1} & \cdots & x_{1,p} \\ \vdots & \ddots & \vdots \\ x_{n,1} & \cdots & x_{n,p} \end{pmatrix}$
また、行と列それぞれの和を $x_{\cdot j},x_{i \cdot}$ で表現する。
$\displaystyle x_{\cdot j}=\sum_{i=1}^n x_{i,j} \quad (j=1,...,p), \quad x_{i,\cdot}=\sum_{j=1}^p x_{i,j} \quad (i=1,...,n)$
この時、変数 $j$ の平均は $\bar{x_{\cdot j}}=x_{\cdot j}/n$ となり、分散は $s_{j,j}=\dfrac{1}{n-1}\sum_{i=1}^n (x_{i,j}-\bar{x_{\cdot j}})^2$ 、変数 $j$ と変数 $k$ の共分散は $s_{j,k}=\dfrac{1}{n-1}\sum_{i=1}^n (x_{i,j}-\bar{x_{\cdot j}})(x_{i,k}-\bar{x_{\cdot k}})$ で表せられる。
さらに変数 $j$ と変数 $k$ の標本相関係数 $r_{j,k}$ は $r_{j,k}=\dfrac{s_{j,k}}{\sqrt{s_{j,j}s_{k,k}}} = \dfrac{\sum_{i=1}^n (x_{i,j}-\bar{x_{\cdot j}}) (x_{i,k}-\bar{x_{\cdot k}})} {\sqrt{\sum_{i=1}^n (x_{i,j}-\bar{x_{\cdot j}})^2 \times \sum_{i=1}^n (x_{i,k}-\bar{x_{\cdot k}})^2}}$

標本の分散と共分散を並べた行列を標本分散共分散行列 $S$ 、標本相関係数を並べた行列を標本相関行列 $R$ と表す。
$S=\begin{pmatrix} s_{1,1} & \cdots & s_{1,p} \\ \vdots & \ddots & \vdots \\ s_{p,1} & \cdots & s_{p,p} \end{pmatrix}, \quad R=\begin{pmatrix} 1 & r_{1,2} & \cdots & r_{1,p} \\ r_{2,1} & 1 & \cdots & r_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ r_{p,1} & r_{p,2} & \cdots & 1 \end{pmatrix}$
$s_{j,k}=s_{k,j},\quad r_{j,k}=r_{k,j}$ であるため、SとＲは共に対称行列である。また、 $r_{j,j}=1$ であり、Rの対角成分は1である。

$S$ もしくは $R$ の $j$ 番目の固有値、固有ベクトルをそれぞれ $\lambda_j, u_j$ とする。

第 $j$ 主成分 $y_j$ ： $y_j=u_j \cdot x=x_1u_{1,j}+\cdots +x_pu_{p,j}$
第 $j$ 主成分 $c_j$ ： $c_j=\lambda_j / (\lambda_1+\cdots +\lambda_p)$
主成分負荷量： $r_{y_j,x_k}=\dfrac{\sqrt{\lambda_j} u_{k,j}}{\sqrt{s_{k,k}}}$
で表される。

参考：

多変量解析法入門 (ライブラリ新数学大系)

作者:靖, 永田,雅彦, 棟近
サイエンス社

Amazon