Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
Tags
- 미적분 #평균값 정리 #로피탈의 정리 #접선의 방정식
- bayesian inference
- Optimization
- 수리통계
- 미적분
- Marketing Mix Modeling
- Media Mix Modeling
- 미적분 #사인과 코사인의 도함수
- 프로그래머를 위한 선형대수 #선형대수 #고유값 #고유벡터 #고유분해
- 프로그래머를 위한 선형대수 #선형대수 #고유분해 #고윳값 #고유벡터
- 미적분 #접선의 방정식 #최적화 #뉴턴법 #뉴턴-랩슨법
- 프로그래머를 위한 선형대수 #선형대수 #행렬계산
- 시계열분석 #Time-Series Analysis #이상탐지 #Anomaly Detection #Spectral Residual #CNN #SR-CNN
- bayesian
- 프로그래머를 위한 선형대수 #선형대수 #고유값 #고유벡터 #야코비 회전법 #QR법 #하우스홀더반사 #행렬회전
- lightweightmmm
- 프로그래머를 위한 선형대수 #선형대수 #LU분해
- mmm
Archives
- Today
- Total
문과생 네버랜드의 데이터 창고
27. 확률 수렴 본문
-
확률수렴이란?
1) 분포의 극한과 수렴
(1) [Xn]을 어떤 확률변수들의 집합이라고 하자. X를 동일한 표본공간에 정의된 확률변수라고 하자.
-. 이 때, Xn에서 n을 매우, 무수히, 많이 뽑는다고 가정하자. 요컨데 n→∞ 이다.
-. 이런 경우, 무수히 많은 Xn은 점차적으로 X라는 확률변수에 가까워질 수 있다.
(2) 이 때, 우리는 이 무수히 많이 뽑은 Xn이 X로 다가가는 현상을 엄밀하게 정의할 필요성이 생긴다.
-. Xn이 X로 점차 다가가는 현상을 수렴한다 라고 표현하고, 이 수렴을 정의하기 위한 방법론은 다음 두가지가 있다.
-. 분포수렴과 확률수렴이 그것이다.
2) 확률수렴
(1) 확률 수렴은 아래와 같이 엄밀하게 정의할 수 있다.[Xn]을 확률변수들의 집합이라 하고, X를 동일한 표본공간에 정의된 확률변수라고 하자.
0보다 큰 어떤 임의의 상수 ϵ에 대하여 다음이 성립한다고 하자.
-. limn→∞P[|Xn−X|≥ϵ]=0
혹은
-.limn→∞P[|Xn−X|<ϵ]=1
이면, Xn은 X에 확률수렴 한다고 하고, 다음과 같은 상징으로 표현한다.
Xnp→X
-. ϵ은 임의의 상수라고 했으므로, 우리가 상상할 수 있는 매우매우 작은 값으로 상정해도 된다.
-. |Xn−X|의 차가 이 매우 작은 값보다 클 확률이 0에 수렴한다는 의미는, 모든 확률적 연산에서 어떤 확률변수에서 ϵ보다 떨어진 곳에 Xn이 위치할 확률은 0에 가까워 진다는 의미이다.
-. 이는 기본적으로 엡실론 - 델타 논법과 궤를 같이한다.
(3) 확률수렴의 정의로부터 아래의 따름정리들이 도출된다.
-. Xnp→X, 또 Yp→Y면 Xn+Ynp→X+Y 이다.
ϵ>0이 주어졌다고 하자. 삼각부등식을 이용하면 다음과 같이 나타낼 수 있다.
|¯Xn−X|+|¯Yn−Y|≥|(Xn+Yn)−(X+Y)|≥ϵ
확률 부등식으로 변환하면
P[|Xn−X|≥ϵ/2]+P[|Yn−Y|≥ϵ/2]≥P([|¯Xn−X|+|¯Yn−Y|≥ϵ]≥P[|(Xn+Yn)−(X+Y)|≥ϵ]
이 때, P[|Xn−X|≥ϵ/2]+P[|Yn−Y|≥ϵ/2] 라는 두 항은
정의에서 나타낸 확률수렴의 성질에 따라 0으로 수렴한다.
따라서 P[|(Xn+Yn)−(X+Y)|≥ϵ]=0 이므로, 정의는 성립한다.
-. Xnp→X, 또 a가어떤상수라고하자. aXnp→aX 이다.a≠0이고, 어떤 상수 ϵ>0 이라고 하자.
P[|aXn−aX|≥ϵ]=P[|a|⋅|Xn−X|≥ϵ]=P[|Xn−X|≥ϵ/|a|]
ϵ/|a| 또한 0보다 큰 임의의 상수이므로, 이를 새로운 ϵ1로 정의하면
이는 확률수렴의 정의에 따라 0으로 수렴한다.
-. Xnp→a이며, 어떤 실함수(실수를 정의역, 공역으로 하는 함수) g(a)가 a에서 연속인 함수라고 하자. 그러면 g(Xn)p→g(a) 이다.어떤 상수 ϵ>0 이라고 하자.
g가 a에서 연속이라고 정의하였으므로, 엡실론 - 델타 논법에 따라
|x−a|<δ 이면 |g(x)−g(a)|<ϵ인 δ>0이 존재한다.
x를 Xn으로 대체하고 확률부등식의 형식으로 나타내면
P[|g(Xn)−g(a)|≥ϵ]≤P[|Xn−a|≥δ]
이다.
P[|Xn−a|≥δ]는 정의에 따라 확률수렴하므로, 0으로 수렴한다. 따라서
P[|g(Xn)−g(a)|≥ϵ]=0 이다.
-. 슬러츠키 정리 : Xnp→X, 또 Yp→Y면 Xn⋅Ynp→X⋅Y 이다.Xn⋅Yn을 2차형식으로 나타내면 다음과 같다.
Xn⋅Yn=12X2n+12Y2n−12(Xn−Yn)2
이 때, 12X2n만 따로 때서 보면 아래의 성질이 존재한다.
-. 이는 Xn에 대한 제곱이라는 실함수, 즉 g(Xn)=X2n 이다.
-. 또한, 확률변수 Xn 앞에 상수 a가 붙은 형식이다.
즉, 12X2np→12X2 이다.
이는 Y도 동일하고, 그 교차항 12(Xn−Yn)2도 동일하다.
따라서
Xn⋅Yn=12X2+12Y2−12(X−Y)2 이고
이를 다시 정리하면 X⋅Y와 동일하다.
3) 대수의 약법칙
(1) 종종 확률수렴은 확률변수 X를 어떤 확정된 상수 a에서 퇴화된(즉, 확률적 성질이 가미된) 연산으로 본다.
-. 다시말해, 확률수렴을 굳이 확률변수 X가 아닌 어떤 특정한 상수 a에 대해서도 다룰 수 있다는 의미이다.
(2) 대수의 약법칙은 여러 상수 a중에서도 모평균 μ에 대한 정리이다.[Xn]을 공통 평균 μ와 공통 분산 σ2을 갖는 i.i.d인 확률변수들의 집합이라고 하자.
이 확률변수를 이용한 통계량을 다음과 같이 정의하자
평균 ¯x=∑ni=1Xin
이 때, 확률수렴의 형식을 빌려 다음과 같이 표현할 수 있다.
¯xp→μ증명은 다음과 같이 할 수 있다.
¯x는 N(μ,σ2n)을 따른다.
따라서, 확률수렴의 형식을 따온 후, 체비셰프 부등식을 이용하면 아래와 같이 정리할 수 있다.
P[|¯xn−μ|≥ϵ]
=p[|¯xn−μ|≥(ϵ√n/σ)⋅(σ/√n)]≤σ2nϵ2
이 때, n→∞임에 따라 부등식 우변은 명백하게 0으로 수렴한다.
즉, limn→∞[|¯xn−μ≥ϵ|]=0 이므로, 확률수렴의 정의에 따라
Xnp→X 는 참이다.
4) 일치성과 일치추정량
(1) X의 분포가 CDF F(x;θ)를 가진다고 하고, [X1,…Xn]이 확률표본이고 통계량 Tn=T(X1,dotsXn)이라고 하자.
-. 이 때, Tnp→θ 일 때, 이를 Tn을 θ 일치추정량이라고 하고, 이런 성질을 일치성이라 한다.
-. 대수의 약법칙도 이런 일치성의 사례중 하나이다.
(2) 표본분산의 일치성
[X1,…Xn]을 평균 μ, 분산 σ인 정규분포에서 추출한 확률표본이라고 하자.
S2n이 표본분산일 떄
-S2n=∑(Xi−¯Xn)2n−1=nn−1⋅1n∑(Xi−¯Xn)2
이는 전개하면
nn−1(1n∑(Xi)2−2¯Xn∑(Xin)+¯Xn2)=(1n∑(Xi)2−¯Xn2)
① 대수의 약법칙에 따라 ¯Xnp→μ 이고,
② 1n∑(Xi)2=X1+⋯+Xnn 에서 (X1+⋯+Xn)2np→(X+⋯+X)2n=E(X)2 이고
③ nn−1p→1 이므로 정리하면
1⋅[E(X2)−μ2]=σ2
이로서 표본분산 S2은 σ2의 일치 추정량임을 보일 수 있다.
'수리통계' 카테고리의 다른 글
29. 중심극한정리 (2) | 2023.07.12 |
---|---|
28. 분포수렴 (1) | 2023.07.11 |
26. 통계적 부트스트랩 (0) | 2023.07.07 |
25. 몬테카를로 방법 (0) | 2023.07.06 |
24. 카이제곱 검정 (0) | 2023.07.05 |