29-1 다변량 중심극한정리

1. 중심극한정리의 다변량 확장
   1) 단변량에서 중심극한정리를 살펴보았다.
   -. 한편, 단변량 정규분포가 존재하는가 하면, 이를 다변량에 대하여 일반화한 다변량 정규분포 또한 존재하였다.
   -. 마찬가지의 논리로, 단변량 중심극한정리를 다변량에 적용하는것도 가능하다.
   
   2) 다변량 확장을 위해 알아야 하는 사실들
   
   ${(1)}$ L2 Norm
   -. 벡터의 크기를 측정 가능하도록 하는 측도
   
   -. 벡터 $v \in R^{n}$에 대하여 v의 L2 Norm은 다음과 같이 정의할 수 있다. 
   $$||v|| = \sqrt{\sum_{i = 1}^{n} v_{i}^{2}}$$
   
   -. 이 때, $v_{i}$는 벡터 v의 $1,\dots,n$ 번째 요소이다
   
   ${(2)}$ 다음의 경우는 단변량에서의 정리가 다변량에서도 공통적으로 통용된다.
   
   -. 확률수렴

   ①$[X_{n}]$이 p차원 확률벡터들의 집합이고, $\epsilon > 0$인 임의의 상수인 경 경우 다음은 성립된다. $\underset{n \rightarrow \infty}{lim} P[||X_{n} - X|| \geq \epsilon]] = 0$

   ② 위에 수반되는 따름정리로, 다음 또한 참이다 $[X_{n}]$이 n차원 확률벡터의 집합일 때 다음이 성립되야 확률수렴한다. $X_{aj} \overset{P}{\rightarrow} X_{j}$ (단, $j = 1, \dots , n$) 요소가 각 열별 확률변수 $X_{j}$로 수렴되어야 $X_{n} \overset{p}{\rightarrow} X$가 참이다.

   ③ 바로 위에서 수반되는 따름정리로, 다음 또한 참이다. $[X_{n}]$을 공통인 평균벡터 $\mu$와 공분산행렬 $\Sigma$를 갖는 i.i.d인 확률벡터의 집합이라 하자. $$\overline{X_{n}} = \frac{\sum(X_{i})}{n}$$ 를 표본평균들의 벡터라 하자. 이 떄,  $\overline{X}_{aj} \overset{P}{\rightarrow} \mu_{j}$ 일때 한해 다음이 성립된다. $$X_{n} \overset{p}{\rightarrow} X$$

   
   -. 분포수렴
   

   $[X_{n}]$이 n차원 확률벡터들의 집합이고, 각자 모두 다변량 $CDF \ F_{n}(X)$를 가진다고 하자.  점 X가 $CDF \ F(X)$에서 연속인 모든 점이라고 할 때 다음의 상황이 참이라고 하자 $$\underset{n \rightarrow \infty}{lim} F_{n}(X) = F(X)$$ 그런 경우, $[X_{n}] \overset{D}{\rightarrow} X$는 참이다.

   
   -. 분포수렴의 MGF 방법
   

   $[X_{n}]$이 각각 CDF $F_{n}(X)$과 적률생성함수 $M_{n}(t)$를 갖는 확률벡터 $X_{n}$들의 집합이라 하자 또, 어떤 확률변수 X가 CDF $F(X)$와 그 적률생성함수 $M(t)$를 갖는다고 하자. 임의의 벡터 $t$에 대하여, h>0인 어떤 임의의 상수에 대해 $||t|| < h$인 모든 t에 대하여 $\underset{n \rightarrow \infty}{lim} M_{n}(t) = M(t)$ 가 성립하면  $$[X_{n}] \overset{D}{\rightarrow} X$$ 는 참이다.

2. 다변량 중심극한정리
   1) 다변량 중심극한정리의 증명
   

   $[X_{n}]$을 공통 평균벡터 $\mu$와 양의 정부호 분산-공분산 행렬을 갖는 (분포 모양이 정해지지 않은) i.i.d인 확률벡터의 집합이라고 하자. 다음의 다변량 통계량을 정의하자 $$Y_{n} = \frac{1}{\sqrt{n}}\sum_{i=1}^{n}(X_{i} - \mu) = \sqrt{n}(\overline{X} - \mu)$$ $t \in R^{p}$를 0 근처에서 정의된 요소를 갖는 임의의 벡터라고 하자.  통계량 $Y_{n}$의 다변량 적률생성함수는 다음과 같이 구할 수 있다. $$M_{n}(t) = E\begin{bmatrix} exp\{t^{T}\frac{1}{n}\sum_{i=1}^{n}(X_{i} - \mu\}) \end{bmatrix} \\ = E\begin{bmatrix} exp\{\frac{1}{n}\sum_{i=1}^{n}t^{T}(X_{i} - \mu\}) \end{bmatrix}$$ $W_{i} = t^{T}(X_{i} - \mu)$로 변수변환을 수행하면 $$= E\begin{bmatrix} exp\{\frac{1}{n}\sum_{i=1}^{n}t^{T}W_{i}\}) \end{bmatrix} \dots ①$$ 이 때, $W = \begin{bmatrix} t \cdot (X_{1}-\mu) \\ t \cdot (X_{2}-\mu) \\ ... \\ t \cdot (X_{n}-\mu) \end{bmatrix}$ 이고, 확률벡터 W의 변환을 아래와 같이 정의하자.  $\frac{1}{\sqrt{n}}\cdot W = \begin{bmatrix} \frac{t \cdot (X_{1}-\mu)}{\sqrt{n}} \\ \frac{t \cdot (X_{2}-\mu)}{\sqrt{n}} \\ ... \\ \frac{t \cdot (X_{n}-\mu)}{\sqrt{n}} \end{bmatrix} \dots ②$  이 변환된 확률벡터의 각 요소는 각각 중심극한정리에 의해 다음의 요소로 분포수렴한다. $\begin{bmatrix} \frac{t \cdot (X_{1}-\mu)}{\sqrt{n}} \\ \frac{t \cdot (X_{2}-\mu)}{\sqrt{n}} \\ ... \\ \frac{t \cdot (X_{n}-\mu)}{\sqrt{n}} \end{bmatrix} \overset{D}{\rightarrow} \begin{bmatrix} N(0, t^{T}\Sigma t) \\ N(0, t^{T}\Sigma t) \\ ... \\ N(0, t^{T}\Sigma t) \end{bmatrix} \overset{D}{\rightarrow} N(0, t^{T}\Sigma t)$ 한편, 식 ①은 ②의 변환 분포 $\frac{1}{\sqrt{n}}\cdot W$의 MGF이기도 하다. 즉, 다시 말해 다음의 극한이 성립해야한다는 의미이다. $$\underset{n \rightarrow \infty}{lim} M_{n}(t) = \underset{n \rightarrow \infty}{lim} E\begin{bmatrix} exp\{\frac{1}{n}\sum_{i=1}^{n}t^{T}W_{i}\}) \end{bmatrix} \rightarrow exp(\frac{t^{T} \Sigma t}{2})$$ 이는 $N_{p}(0, \Sigma)$ 인 다변량 정규분포의 mgf이므로, 이로서 $$Y_{n} \overset{D}{\rightarrow} N(0, \Sigma)$$ 를 증명했다.