문과생 네버랜드의 데이터 창고

27. 확률 수렴 본문

수리통계

27. 확률 수렴

K JI 2023. 7. 10. 19:18
  1. 확률수렴이란?
    1) 분포의 극한과 수렴

    (1) [Xn]을 어떤 확률변수들의 집합이라고 하자. X를 동일한 표본공간에 정의된 확률변수라고 하자.
    -. 이 때, Xn에서 n을 매우, 무수히, 많이 뽑는다고 가정하자. 요컨데 n 이다.
    -. 이런 경우, 무수히 많은 Xn점차적으로 X라는 확률변수가까워질 수 있다.

    (2) 이 때, 우리는 이 무수히 많이 뽑은 Xn이 X로 다가가는 현상을 엄밀하게 정의할 필요성이 생긴다.
    -. Xn이 X로 점차 다가가는 현상을 수렴한다 라고 표현하고, 이 수렴을 정의하기 위한 방법론은 다음 두가지가 있다.
    -. 분포수렴확률수렴이 그것이다.

    2) 확률수렴
    (1) 확률 수렴은 아래와 같이 엄밀하게 정의할 수 있다.
    [Xn]을 확률변수들의 집합이라 하고, X를 동일한 표본공간에 정의된 확률변수라고 하자.

    0보다 큰 어떤 임의의 상수 ϵ에 대하여 다음이 성립한다고 하자.

    -. limnP[|XnX|ϵ]=0
    혹은
    -.limnP[|XnX|<ϵ]=1

    이면, XnX에 확률수렴 한다고 하고, 다음과 같은 상징으로 표현한다.

    XnpX
    (2) 위 식을 해석하면 다음과 같다.

    -. ϵ임의의 상수라고 했으므로, 우리가 상상할 수 있는 매우매우 작은 값으로 상정해도 된다. 

    -. |XnX|의 차가 이 매우 작은 값보다 클 확률이 0에 수렴한다는 의미는, 모든 확률적 연산에서 어떤 확률변수에서 ϵ보다 떨어진 곳에 Xn위치할 확률은 0에 가까워 진다는 의미이다.

    -. 이는 기본적으로 엡실론 - 델타 논법과 궤를 같이한다.

    (3) 확률수렴의 정의로부터 아래의 따름정리들이 도출된다.

    -. XnpX, 또 YpYXn+YnpX+Y 이다.
    ϵ>0이 주어졌다고 하자. 삼각부등식을 이용하면 다음과 같이 나타낼 수 있다.
    |¯XnX|+|¯YnY||(Xn+Yn)(X+Y)|ϵ
    확률 부등식으로 변환하면
    P[|XnX|ϵ/2]+P[|YnY|ϵ/2]P([|¯XnX|+|¯YnY|ϵ]P[|(Xn+Yn)(X+Y)|ϵ]

    이 때, P[|XnX|ϵ/2]+P[|YnY|ϵ/2] 라는 두 항은
    정의에서 나타낸 확률수렴의 성질에 따라 0으로 수렴한다.

    따라서 P[|(Xn+Yn)(X+Y)|ϵ]=0 이므로, 정의는 성립한다. 

    -. XnpX, 또 aaXnpaX 이다.
    a0이고, 어떤 상수 ϵ>0 이라고 하자.

    P[|aXnaX|ϵ]=P[|a||XnX|ϵ]=P[|XnX|ϵ/|a|]

    ϵ/|a| 또한 0보다 큰 임의의 상수이므로, 이를 새로운 ϵ1로 정의하면
    이는 확률수렴의 정의에 따라 0으로 수렴한다.

    -. Xnpa이며, 어떤 실함수(실수를 정의역, 공역으로 하는 함수) g(a)가 a에서 연속인 함수라고 하자. 그러면 g(Xn)pg(a) 이다.
    어떤 상수 ϵ>0 이라고 하자.

    g가 a에서 연속이라고 정의하였으므로, 엡실론 - 델타 논법에 따라 
    |xa|<δ 이면 |g(x)g(a)|<ϵδ>0이 존재한다.

    x를 Xn으로 대체하고 확률부등식의 형식으로 나타내면
    P[|g(Xn)g(a)|ϵ]P[|Xna|δ]
    이다.
    P[|Xna|δ]는 정의에 따라 확률수렴하므로, 0으로 수렴한다.  따라서 
    P[|g(Xn)g(a)|ϵ]=0 이다.


    -. 슬러츠키 정리 :  XnpX, 또 YpYXnYnpXY 이다.
    XnYn을 2차형식으로 나타내면 다음과 같다.

    XnYn=12X2n+12Y2n12(XnYn)2

    이 때, 12X2n만 따로 때서 보면 아래의 성질이 존재한다.

    -. 이는 Xn에 대한 제곱이라는 실함수, 즉 g(Xn)=X2n 이다.
    -. 또한, 확률변수 Xn 앞에 상수 a가 붙은 형식이다.

    즉, 12X2np12X2 이다.
    이는 Y도 동일하고, 그 교차항 12(XnYn)2도 동일하다.

    따라서
    XnYn=12X2+12Y212(XY)2 이고
    이를 다시 정리하면 XY와 동일하다.

    3) 대수의 약법칙
    (1) 종종 확률수렴은 확률변수 X를 어떤 확정된 상수 a에서 퇴화된(즉, 확률적 성질이 가미된) 연산으로 본다. 
    -. 다시말해, 확률수렴을 굳이 확률변수 X가 아닌 어떤 특정한 상수 a에 대해서도 다룰 수 있다는 의미이다.

    (2) 대수의 약법칙은 여러 상수 a중에서도 모평균 μ에 대한 정리이다.
    [Xn]을 공통 평균 μ와 공통 분산 σ2을 갖는 i.i.d인 확률변수들의 집합이라고 하자.

    이 확률변수를 이용한 통계량을 다음과 같이 정의하자
    평균 ¯x=ni=1Xin

    이 때, 확률수렴의 형식을 빌려 다음과 같이 표현할 수 있다.
    ¯xpμ
    증명은 다음과 같이 할 수 있다.

    ¯xN(μ,σ2n)따른다.

    따라서, 확률수렴의 형식을 따온 후, 체비셰프 부등식을 이용하면 아래와 같이 정리할 수 있다.

    P[|¯xnμ|ϵ]
    =p[|¯xnμ|(ϵn/σ)(σ/n)]σ2nϵ2
    이 때, n임에 따라 부등식 우변은 명백하게 0으로 수렴한다.

    즉, limn[|¯xnμϵ|]=0 이므로, 확률수렴의 정의에 따라
    XnpX 는 참이다.

    4) 일치성과 일치추정량
    (1) X의 분포가 CDF F(x;θ)를 가진다고 하고, [X1,Xn]이 확률표본이고 통계량 Tn=T(X1,dotsXn)이라고 하자.

    -. 이 때, Tnpθ 일 때, 이를 Tnθ 일치추정량이라고 하고, 이런 성질을 일치성이라 한다.

    -. 대수의 약법칙도 이런 일치성의 사례중 하나이다.

    (2) 표본분산의 일치성
    [X1,Xn]을 평균 μ, 분산 σ인 정규분포에서 추출한 확률표본이라고 하자.

    S2n이 표본분산일 떄

    -S2n=(Xi¯Xn)2n1=nn11n(Xi¯Xn)2

    이는  전개하면 
    nn1(1n(Xi)22¯Xn(Xin)+¯Xn2)=(1n(Xi)2¯Xn2) 

    ① 대수의 약법칙에 따라 ¯Xnpμ 이고,

    1n(Xi)2=X1++Xnn 에서 (X1++Xn)2np(X++X)2n=E(X)2 이고

    nn1p1 이므로 정리하면

    1[E(X2)μ2]=σ2

    이로서 표본분산 S2σ2의 일치 추정량임을 보일 수 있다.

'수리통계' 카테고리의 다른 글

29. 중심극한정리  (2) 2023.07.12
28. 분포수렴  (1) 2023.07.11
26. 통계적 부트스트랩  (0) 2023.07.07
25. 몬테카를로 방법  (0) 2023.07.06
24. 카이제곱 검정  (0) 2023.07.05