18. 확률표본과 모수, 그리고 통계량

1. 개요
   1) 현대 통계학의 문제에서 대부분의 의문은 어떤 확률변수 X에 대하여 다음의 질문에 답을 얻는것이다.
   
   ${(1)}$ 어떤 확률변수 X에 대하여, 그 확률변수 X의 pdf(혹은 pmf)는 무엇일까?
   ${(2)}$ pdf(pmf)는 안다고 해도, 그 pdf(pmf)에서 나타나는 파라미터 $\theta$는 무엇일까?
   
   2) 이 중, 두 번째 질문에 답변하기 위해 필요한 개념이 바로 표본과 통계량이다.
   
   
2. 표본
   1) 어떤 확률변수 X가 집합 $\omega$에 대해 pdf(혹은 pmf)를 정의 가능하다고 하자.
   ${(1)}$ 이 때, 확률변수 X와 동일한 분포를 가지면서, X를 통해 n번 샘플링한 [X_{1},X_{2}, ..., X_{n}]가 서로 독립일 경우 확률표본이라고 표현한다.
   -. 위에서 정의한 ①동일한 분포, ②독립일 경우를 특별히 i.i.d(Independent and Identically Distributed)라는 명칭으로 부른다.
   -. iid 조건은 통계적 추론에서 매우 자주 가정하는 조건으로 개념을 이해하고 넘어가는 것이 좋다. 
   
   ${(2)}$ 확률 표본 $[X_{1},X_{2}, ..., X_{n}]$에 대하여 현실에 결과로 도출된 값들을 실현이라고 표현한다.
   -. 이 때, 이 실현값들은 $[x_{1},x_{2}, ..., x_{n}]$ 으로 표현한다.
   
   
3. 통계량
   1) 확률 표본 $[X_{1},X_{2}, ..., X_{n}]$에 대한 변환 함수 $T =T([X_{1},X_{2}, ..., X_{n}])$를 정의하자. 이를 통계량 이라고 한다.
   ${(1)}$ 대표적인 통계량 몇가지를 뽑아보면 아래와 같다.
   -. $\frac{x_{1} + x_{2} + ... + x_{n}}{n} = \overline{x}$, T가 평균을 구하는 함수일 때 이는 통계량이다.
   -.  $\sigma^{2} = \frac{\sum(x_{i} - \overline{x})^{2}}{n}$, 즉 T가 분산을 구하는 함수일 때 이는 통계량이다.
   
   2) 한편, 이와 같은 논리를 확률 표본 $[X_{1},X_{2}, ..., X_{n}]$ 뿐만 아니라 그 원천인 확률변수 X에 대하여도 적용할 수 있다.
   ${(1)}$ 이 과정을 통해 도출된 $\theta = T(X)$를 모수라고 한다.
   
   
4. 불편 추정량
   1) 우리의 목적은 다음과 같다.
   
   ${(1)}$ 현실에서 실현된 확률 표본들의 실현을 토대로
   ${(2)}$ 통계량을 만들고
   ${(3)}$ 이를 토대로 원천인 확률변수 X의 모수를 추정하는 것이다.
   
   2) 이때, 통계량과 모수를 연결짓는 징검다리로서 불편추정량이란 개념이 등장한다.
   ${(1)}$ 불편추정량의 개념은 아래와 같다.
   -. 모수 $\theta$를 갖는 $pdf(f; \theta)$를 가지는 확률변수 X를 정의하자.
   -. 이 때, X에서 독립적으로 추출한(i.i.d) 확률표본 $[X_{1},X_{2}, ..., X_{n}]$를 정의하자.
   -. 이 확률표본을 이용한 통계량 $T = T([X_{1},X_{2}, ..., X_{n}])$를 정의하자.
   -. 이 때, 이 통계량의 기댓값 $E(T) = \theta$, 즉 그 기댓값이 모수와 같을경우 T를 $\theta$의 불편추정량 이라고 표현한다.   
   
   

   확률변수, 확률표본, 모수, 통계량, 불편추정량의 관계 예시도 확률변수 X가 베르누이 시행(동전을 던졌을때 앞면이면 1, 뒷면이면 0)을 따를 때, 그 확률표본 $X_{1}, ..., X_{n}$의 실현 $x_{1}, ..., x_{n}$의 평균 $\overline{x}$ 는 확률변수 X의 '앞면이 나올 확률' $\theta$ 의 불편추정량이다. 이는 뒤에서 증명할 것이며, 일단은 이런 관계들을 서로 맺고 있다고 확인하자