5. 확률변수의 부등식

1.  마코프 부등식
   1) $ A = \{x:u(x) \geq c\}$ 일때, 확률변수 X의 pdf $f(x)$에서
   
   ${(1)}$ $E[u(x)] = \int_{-\infty}^{\infty}u(x) \cdot f(x)dx = \int_{A}u(x) \cdot f(x)dx + \int_{A^{c}}u(x) \cdot f(x)dx$
   
   $({2})$ 이 때, 당연히 $\int_{-\infty}^{\infty}u(x) \cdot f(x)dx >  \int_{A}u(x) \cdot f(x)dx$ 이므로, 
   
   $({3})$ $u(x) = c$로 놓아도, ${1)}$의 정의에 따라 $x \in A$라면 $u(x) \geq c$ 이므로 $\int_{-\infty}^{\infty}u(x) \cdot f(x)dx >  c \cdot \int_{A}f(x)dx$
   
   2) 위를 다시 총정리하면
   
   ${(1)}$ $E[u(x)] \geq cP(x \in A) = cP(x \geq c)$
   
   ${(2)}$ $\frac{E[u(x)]}{c} \geq P(x \geq c)$ 이다.
   
   
2.   체비셰프 부등식
   
   1) 마코프 부등식의 특수한 경우로, 평균과 분산의 관계를 다룬다
   
   2) 마코프 부등식의 결론 $P(x \geq c) \leq \frac{E(u(x))}{c}$ 에서 
   
   ${(1)}$ $X = (X - \mu)^{2}, c = (k \sigma)^{2}$ 라고 하면
   
   ${(2)}$ $P[(X-\mu)^{2} \geq k^{2}\sigma^{2}] \leq \frac{E[(x-\mu)^{2}]}{k^{2}\sigma^{2}}$
   
   ${(3)}$ $E[(X-\mu)^{2}] = \sigma^{2}$ 이므로, $P[(x-\mu)^{2} \geq k^{2}\sigma^{2}] \leq \frac{1}{k^{2}}$
   
   ${(4)}$ 좌변도 마찬가지로 정리하면 $P[(x-\mu) \geq k] \leq \frac{1}{k^{2}}$
   
   3) 체비셰프 부등식을 활용하면, 어떤 확률변수 X의 평균이 있을 때 X가 표준편차 K보다 작거나 클 확률의 상한을 나타낼 수 있다.
3. 젠셴 부등식
   1) 어떤 함수의 기댓값은 어떤 기댓값의 함수보다 항상 같거나 작다는 관계를 증명하는 부등식이다.
   
   2) 함수 $\varnothing$가 2차까지 미분 가능한 함수라고 가정하자.
   
   ${(1)}$ $\mu = E(X)$에 대하여, $\varnothing$을 2차까지 테일러 전개하면 다음과 같다.
   -. $\varnothing(x) = \varnothing(\mu) + \varnothing'(\mu)(x-\mu) + \frac{1}{2}\varnothing''(a)(x-\mu))^{2}$
   이때, a는 a>0인 어떤 임의의 상수이다.
   
   -. $\frac{1}{2}\varnothing''(a)(x-\mu))^{2} > 0$임이 명백하므로, 이 항을 제거하면 다음의 관계가 성립된다.
   $$\varnothing(x) > \varnothing(\mu) + \varnothing'(\mu)(x-\mu)$$
   
   -. 이제, 양변에 기댓값을 취하면
   $E[\varnothing(x)] > E[\varnothing(\mu) + \varnothing'(\mu)(X-\mu)]$
   한편, $E(X-\mu) = 0$이므로, 마지막항은 소거된다. 즉 정리하면
   $E[\varnothing(x)] > E[\varnothing(\mu)]$
   이 때, 부등식의 오른쪽항은 X에 종속되지 않는 상수이다. 따라서 기댓값과 함수 $\varnothing$의 위치를 바꾸면
   $$E[\varnothing(x)] > \varnothing(E[X])$$
   이것이 바로 원하는 결과이다.
4. 예제