가우시안 분포 (Gaussian distribution)의 pdf(probability density function) 단변수부터 다변수 까지

이번 글에서는 가우시안 분포 (Gaussian distribution)의 pdf (probability density function)에 대해 알아보자. 1변수 가우시안 분포중 표준형 (평균이 0 variance 0)에 대한 pdf를 구하고 임의의 mean과 variance를 가진 가우시안 분포의 pdf를 구해보자. 그 다음에 1변수에서 했던것을 바탕으로 다변수에서 표준형 가우시안 분포의 pdf를 구하고 이를 기반으로 일반적인 가우시안의 분포까지 알아보도록 하자.

 

1변수 표준형 가우시안 분포의 pdf

1변수로 오자. 평균이 0 variance가 1인 가우시안 분포의 pdf를 알아보자. 이 pdf는 기호를 $N(x | 0,1)$ 로 쓰겠다. 이거는 정의 때문이니까 간단하게 써보자. $$N(x | 0,1 )  = \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{1}{2} x^2 \right)$$

위와 같이 평균이 0이고 분산이 1인 가우시안 분포의 pdf는 위와 같다.

 

1변수 일반적인 가우시안 분포의 pdf

이제 평균이 $\mu$, variance가 $\sigma^2$인 가우시안 분포의 pdf를 알아보자. 이 pdf는 기호를 $N(x | \mu, \sigma^2)$라고 쓰겠다. 여기서 주목할점이 있다. $z$를 평균이 0, 분산이 1인 가우시안 분포를 따르는 확률변수라고 하자. 그러면 $x:=\sigma z + \mu$는 가우시안 분포 $N(x|\mu,\sigma^2)$를 따른다. 그러면 확률변수, pdf에 대한 일종의 chain rule, 변수변환에 의해 아래와 같이 $N(x |\mu,\sigma^2)$를 구할 수 있다.

$$N(x|\mu,\sigma^2) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp \left(- \frac{1}{2 \sigma^2} x^2 \right)$$

 

다변수에서 표준 가우시안 분포의 pdf

다변수에 대한 가우시안 분포를 구하도록 하자. 차원을 $d$라고 하자. 다변수에서 평균이 $\mathbf{0}$, covariance matrix가 $\mathbf{I}$인 가우시안 분포의 pdf를 $N(\mathbf{x} | \mathbf{0}, \mathbf{I})$라고 표현하자. $N(\mathbf{x} | \mathbf{0}, \mathbf{I})$는 $N(x|0, 1)$를 d개 곱해준 형태다. 그래서 금방 구할 수 있다.

 $$N(\mathbf{x} | \mathbf{0}, \mathbf{I})= \frac{1}{(\sqrt{2 \pi})^d }\exp \left( \frac{1}{2} \mathbf{x}^T \mathbf{x}\right)$$

위에서 위첨자 $^T$는 transpose를 의미한다.

 

다변수에서 일반적인 가우시안 분포의 pdf

다변수에서 일반적인 가우시안 분포에 대한 pdf를 구하도록 하자. mean이 $\mathbf{\mu}$라 하고 covariance matrix가 $\mathbf{\Sigma}$라고 표현하자. 많은 경우 (거의 대부분의 경우) $\mathbf{\Sigma} = \mathbf{P} \mathbf{P}^T$형태로 쪼개진다. (믿어라) 우리가 구하려고 하는 가우시안 분포의 pdf를 $N(\mathbf{x} | \mathbf{\mu} , \mathbf{\Sigma})$라고 하자. 1변수에서 마찬가지로 d차원에서 표준 가우시안 분포를 따르는 random vector를 $\mathbf{z}$라 한다면 $\mathbf{x}:= P \mathbf{z} + \mathbf{\mu}$는 $N(\mathbf{x} | \mathbf{\mu}, \mathbf{\Sigma})$를 따른다. 이점을 이용해서 random vector, pdf에 대한 chain rule, transformation정리에 의해 pdf를 구할 수 있다.

$$N(\mathbf{x} | \mathbf{\mu}, \mathbf{\Sigma}) = \frac{1}{(\sqrt{2\pi})^d |\mathbf{\Sigma}|^{1/2}} \exp\left( -\frac{1}{2} (\mathbf{x}-\mathbf{\mu})^T\mathbf{\Sigma}^{-1} (\mathbf{x}-\mathbf{\mu})\right)$$

 

정리

이번 글에서는 가우시안 분포의 pdf를 알아봤다. 1변수에서 표준 가우시안 분포의 pdf를 정의하였고 이것을 이용해서 1변수에서 일반적인 가우시안 분포의 pdf를 이용했다. 1변수 표준 가우시안 분포의 dpf를 이용해 다변수 표준 가우시안 분포의 pdf를 정의하였고 이것을 이용해 다변수에서 일반적인 가우시안 분포의 pdf또한 정의하였다.