11. 분산 - 공분산 행렬

 

1. 공분산 행렬
   $\overrightarrow{x}=\begin{bmatrix} x_{1}\\...  \\x_{n} \end{bmatrix}$인 확률벡터를 정의하자.
   1) 이 때, 확률변수 X의 평균 $\mu = E(x)$일 때, 분산-공분산 행렬 Cov(x)
   ${(1)}$ $Cov(x) = E[(x-\mu)(x-\mu)^{T}]$ = $[\sigma_{ij}]$ 이다. 즉
   ${(2)}$ $\begin{bmatrix} \begin{bmatrix} x_{1}\\...  \\x_{n} \end{bmatrix} - \begin{bmatrix} \mu_{1}\\...  \\ \mu_{n} \end{bmatrix} \end{bmatrix} \cdot \begin{bmatrix} \begin{bmatrix} x_{1}\\...  \\x_{n} \end{bmatrix} - \begin{bmatrix} \mu_{1}\\...  \\ \mu_{n} \end{bmatrix} \end{bmatrix}^{T} = \begin{Bmatrix} \sigma_{1}^{2} & ... & \sigma^{2}_{1n} \\ \vdots  & \ddots & \vdots \\ \sigma^{2}_{n1} & ... & \sigma^{2}_{n} \\ \end{Bmatrix}$
   2) 이 때, 대각성분은 자기 스스로에 대한 분산이 되고, 대각 이외 성분은 $ij$ 짝의 공분산값이 된다.
   
   
2. 공분산 행렬의 성질
   1) 다변량 확률벡터의 선형성
   ${(1)}$ 일변량 함수에서 살펴보았던 기댓값의 선형성은 다변량으로 쉽게 확장이 가능하다.

   $W_{1}$과 $W_{2}$를 확률변수의 (m x n) 행렬이라고 가정하자. 또 $A_{1}$과 $A_{2}$를 (k x m)의 상수행렬, 또다른 행렬 $B_{2}$를 (n x l)의 상수행렬이라고 하자. -. $$E[A_{1}W_{1} + A_{2}W_{2}] = A_{1}E[W_{1}] + A_{2}E[W_{2}]$$ 는 성립한다.

   
   ${(2)}$ 위 정리를 이용하여 공분산의 선형성도 증명이 가능하다.
   

   확률벡터 X를 $Var(X_{i}) < \infty$ 인 분산을 갖는 확률표본들 $[X_{1}, ..., X_{n}]$ 의 벡터라 하자. A가 (m x n)의 상수 행렬이라고 한다면

   $$Cov(X) = E[(X-\mu)(X-\mu)^{T}] \\ = E[XX^{T} - \mu X^{T} - X\mu^{T} + \mu\mu^{T}] \\ = E[XX^{T}] - \mu E[X^{T}] - E[X\mu^{T}] + \mu \mu^{T}$$ 이 때 $- E[X\mu^{T}] + \mu \mu^{T}$는 소거되므로, 최종적으로 $$COV(X) = E[XX^{T}] - \mu\mu^{T}$$ 이다.

   또한, $COV(AX) = A Cov(X) A^{T}$와 같다.