문과생 네버랜드의 데이터 창고

계속해서, 모수 $\theta$를 추정하는 문제로 들어가보자. 1) 우리가 추정하는 모수에 대한 추정량 $\widehat{\theta}$가 있다고 가정하자. ${(1)}$ 이 떄, 우리가 추정한 이 추정량 $\widehat{\theta}$가 정말 $\theta$에 대한 완전한(즉, 오차가 없는) 추정량일 확률은 낮다. -. 사실, $\theta$를 어떤 확률분포를 따르는 확률변수라고 가정한다면, 오차가 전혀 없을 확률 즉 $P(\theta = \widehat{\theta})$일 확률은 0과 같다.(정확한 지점에서의 확률은 0이다.) ${(2)}$ 아예 정확한 추정량을 구하는것은 불가능하지만, 매우매우 근접한 '좋은 품질의 추정량'을 구하는것은 충분히 가능하다. -. 이제, 관점을 바꿔서, 우리가 추정한 ..

추정량과 최대우도추정량 1) 추정량이란 모수를 추정케하는 통계량과 연관된 개념이다. ${(1)}$ 확률변수 X에서 추출한 확률표본 $[X_{1}, X_{2}, ..., X_{n}]$이 있다고 가정하고, 이 확률표본의 함수인 통계량을 $T = T($[X_{1}, X_{2}, ..., X_{n}]$)$라고 하자. -. 이 때, T로 모수 $\theta$를 추정할 수 있다면, 이 T를 모수 $\theta$에 대한 추정량이라고 표현한다. 2) 최대우도추정량이란 최대우도법이란 테크닉을 이용하여 구한 추정량이다. ${(1)}$ 우도(혹은 가능도, likelihood)란, 확률표본들의 실현값들이 주어졌을때(즉, 우리가 관찰 가능한 데이터가 주어졌을 때) 이 데이터가 특정 모수를 가진 분포에서 나왔을 척도를 나타낸다...

개요 1) 현대 통계학의 문제에서 대부분의 의문은 어떤 확률변수 X에 대하여 다음의 질문에 답을 얻는것이다. ${(1)}$ 어떤 확률변수 X에 대하여, 그 확률변수 X의 pdf(혹은 pmf)는 무엇일까? ${(2)}$ pdf(pmf)는 안다고 해도, 그 pdf(pmf)에서 나타나는 파라미터 $\theta$는 무엇일까? 2) 이 중, 두 번째 질문에 답변하기 위해 필요한 개념이 바로 표본과 통계량이다. 표본 1) 어떤 확률변수 X가 집합 $\omega$에 대해 pdf(혹은 pmf)를 정의 가능하다고 하자. ${(1)}$ 이 때, 확률변수 X와 동일한 분포를 가지면서, X를 통해 n번 샘플링한 [X_{1},X_{2}, ..., X_{n}]가 서로 독립일 경우 확률표본이라고 표현한다. -. 위에서 정의한 ①동..

T분포를 발견한 스튜던트가 T분포 증명 과정에서 파생시킨 따름 정리들 1) 다음의 네개 따름 정리를 한데 묶어 '스튜턴트의 정리'라고 표현한다. 2) 스튜던트의 정리는 추론통계에서 주로 사용되는 T검정은 물론이고 정규분포와 관련된 다양한 추론에 활용되므로 각각의 정리가 어떤 의미인지는 알고 넘어가는 것이 좋다. $X_{1}, X_{2}, ..., X_{n}$을 각각 평균 $\mu$와 분산 $\sigma^{2}$을 따르는 i.i.d인 확률변수라고 하자. 확률변수 $\overline{X} = \frac{1}{n}\sum_{i=}^{n}(X_{i})$ 그리고 $S^{2} = \frac{1}{n-1}\sum_{i=1}^{n}(X_{i} - \overline{X})^{2}$ 이라고 정의할때, 아래의 정리는 참이다..

T분포 1) 표준정규분포와 카이제곱 분포의 결합분포를 T분포라고 한다. ${(1)}$ 모평균과 모표준편차를 알기 어려운 상황에서, 자유도라 불리우는 표본의 갯수에 따라 통계적 성질이 결정된다. ${(2)}$ 자유도를 $n \rightarrow \infty$로 할 경우 정규분포로 수렴하므로, 정규분포의 근사 분포로서 주로 활용된다. 2) T분포의 유도 ${(1)}$ pdf의 유도 -. W ~ $N(0,1)$을 따르는 분포라 하고, V ~ $x^{2}(r)$을 따르는 분포라 하자. 두 분포는 서로 독립이다. -. 이 때, 두 분포는 독립이므로, 독립인 분포의 성질에 따라 pdf의 단순 결합이 가능하다. 즉 $$h(w,v) = [\frac{1}{\sqrt{2\pi}}exp(-\frac{w^{2}}{2})] \..

혼합분포? 1) 한 확률변수의 분포가 다른 분포의 영향을 받아 변형될 때 이를 혼합분포라고 한다. 2) 엄밀한 정의는 아래와 같이 나타낼 수 있다. 확률변수들의 열 $x_{1}, x_{2}, ..., x_{n}$이 각각 $pdf \ f_{1}, f_{2}, ..., f_{n}$ 을 가지고, 각각이 받침 $s_{1}, s_{2}, ..., s_{n}$을 각각 가진다고 하자. $p_{1}, p_{2}, ..., p_{n}$은 $\sum_{i = 1}^{n} p_{i} = 1$인 상수라 하자. 이 확률변수들의 결합된 혼합분포의 pdf는 아래와 같이 정의할 수 있다. $$f(x) = p_{1}f_{1} + p_{2}f_{2} + ... + p_{n}f_{n} = \sum_{i = 1}^{n}p_{i}f_{i}$..

표준 다변량 정규분포 1) 표준 다변량 정규분포의 pdf ${(1)}$ $z_{1}, ..., z_{n}$을 i.i.d이고 $N(0,1)$을 따르는 확률변수라고 할 때 -. 이 확률표본들의 확률벡터 Z 의 결합확률밀도함수는 i.i.d에서의 조건에 따라 다음과 같이 나타낼 수 있다. $f_{z}(Z) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2\pi}} exp(-\frac{z^{2}}{2}) = (\frac{1}{2\pi})^{\frac{n}{2}}exp(-\frac{1}{2}\sum_{i=1}^{n}z_{i}^{2})$ -. 위 식을 벡터형식으로 고쳐서 다시 표현하면 아래와 같이 쓸 수 있다. $(\frac{1}{2\pi})^{\frac{n}{2}}exp(-\frac{1}{2}z^{..

정규분포란? 1) 정규분포는 현대 통계학의 추론, 검정 혹은 예측에 필수적인 역할을 담당하고 있는 가장 중요한 분포이다. 2) 온갖 자연계의 자연스러운 현상을 수치적으로 모델링이 가능하다는 장점이 있다. ${(1)}$ 키와 체중 : 사람들의 키, 체중은 평균을 중심으로 멀어질수록 사례수가 적어지는 정규분포를 따른다. ${(2)}$ 시험 성적 : 시험 점수는 보통 평균을 기준으로 극단적인 하한값(낮은 점수)와 극단적인 상한값(만점) 사이에서 정규분포를 그리는 경우가 많다. 3) 통계학적인 측면에서, 정규분포는 중심극한정리(Central Limit Theorem)라는 매우 강력한 이론의 토대이다. ${(1)}$ 중심 극한 정리는 현실에서 볼 수 있는 실현된 표본들의 평균을 많이 수집하면 수집할수록 모집단의 ..