Generator를 이해하기 위해 필요한 개념: test function, markov process, transition kernel , marginal action, transition action

Generator를 이해하기 위해 필요한 개념인 test function, markov process, transition kernel , marginal action, transition action에 대해 알아보자.

 

$S$를 state space라 하고 $S$는 $\mathbb{R}^d$이거 discrete set이다. discrete set이란 원소가 유한개인 셋이라 보면 된다. $S$위의 probability measure가 $\mu_1, \mu_2$가 있다고 하자. $\mu_1, \mu_2$가 같은지 안같은지 보려면 test를 보면 된다. test에 쓰일수 있는 함수들으 모아 $T$라는 것을 정의하자. 

$$T: \text{ set of all test functions on } S \iff \text{ 어떠한 } \mu_1,\mu_2 \text{에 대해서, 모든 } f \text{ 에 대하여 } E_{\mu_1}[f(x)]=E_{\mu_2}[f(x)] \text{ 일때마다 } \mu_1=\mu_2 \text{ 이면}$$

 

Markove process에 대해 알아보자. Markov process는 stochastic process $X_t$이다. $0\leq t \leq 1$로 잡아도 충분하다. 아래와 같은 수식을 만족할때 $X_t$를 markov process라 한다.

For all $0\leq t_1 \leq t_2 \leq \cdots \leq t_m \leq 1 , m \in \mathbb{N}, A, P(X_{t_{m}}\in A|X_{t_{m-1}},X_{t_{m-2}},\cdots, X_1) =P (X_{t_{m}}\in A|X_{t_{m-1}})$

Markov process는 transition kernel이라는 것으로 표현되는 아래와 같이 정의되는 probability measure를 transition kernel이라 한다.

$$k_{t+h | t} (A|x) = P(X_{t+h} \in A |X_t=x)$$

 

$t$에서의 marginal $p_t$가 있다고 하자. 그럴때 아래와 같은 식을 marginal action이라 한다.

$<p_t,f> = \int f(y) p_t(dy) = E_{p_t}[f(x_t)] $

transition action은 아래와 같이 kernel을 이용해서 표현한다.

$<k_{t+h|t},f>(x) = \int f(y) k_{t+h|t}(dy|x) = E[f(x_{t+h}) | x_t = x] $

 

이렇게 보면 $k_{t+h}(\cdot | x) $는 linear operator 역할을 한다. linear operator로써 아래와 같은 수식을 만족한다.

$k_{t|t} = Id$

$<p_{s|u},f>= <p_{t|u}, <p_{s|t},f>>$ for all $0\leq u \leq t \leq s \leq 1$

 

$p_{t+h}(A) = \int k_{t+h|t}(A|x) p_t(dx) $형태로 정의가 된다면 아래와 같은 tower property를 만족한다.

$$<p_{t+h},f> = <p_t,<k_{t+h|t}, f>>$$