확률과정05-재생과정

Wednesday. May 01, 2019 - 6 mins

Statistics StochasticProcess

재생과정

재생, 재생과정

재생(Renewal) : 전구, 시계의 배터리, 자동차 타이어 등 소모품의 수명이 다하면 즉시 새것으로 교체하는 것 처럼 즉각적인 교체를 뜻함.

$S_n=n$번째 재생이 발생할 때까지의 평균수명

$N(t) = t$시간까지 발생하는 총 재생 횟수 = max$\lbrace n: S_n \le t \rbrace$

$X_n$ : $(n-1)$번째 재생이 일어난 이후 $n$번째 재생이 일어날 때까지의 수명시간

이라고 하면, 다음이 성립한다. $S_n = X_1+...+X_n\ (n\ge 1, \ S_0=X_0=0)$ 재생간격시간 $X_n$이 서로 독립동등분포(iid)를 하면,

$t$시간까지의 총 재생발생 횟수 $N(t)$ 를 재생과정(Renewal Process)라고 한다.

재생이론의 궁극적인 목적은 $X_n$의 분포 $F$로 재생과정 $N(t)$ 또는 대기시간 $S_n$와 관련된 확률변수들의 성질을 유도하는 것이다.

$X_n$이 iid하고, $X_n$의 cdf를 $F$, pdf를 $f$, 평균과 분산을 각각 $\mu, \sigma^2$라고 하고,

$S_n$의 cdf를 $G_n$, pdf를 $g_n$이라고 하면, $S_n = \sum^n_{i=1}X_i$의 평균, 분산은 $X_i$가 iid라는 가정으로 부터, $E(S_n) = n\mu,\ Var(S_n) = n\sigma^2$ 이 된다.

$X_i$의 분포를 이용하여 $S_n$의 분포를 구해봅시다.

먼저 $S_1 = X_1$이므로 $G_1 = F, g_1 = f$가 된다.

$S_2 = X_1 + X_2$에 Convolution을 이용하면, $g_2(t) = \int^t_0 f(t-s)f(s)ds$ 일반적으로 $S_n = S_{n-1} + X_n$이고, $S_{n-1}, X_n$은 서로 독립이므로, $g_n = \int^t_0 f(t-s)g_{n-1}(s)ds,\ (n=2,3,..., 0\le t < \infty)$ $G_0=1$이라고 하고 위 식의 양변을 적분하면, $G_n(t) = \int^t_0F(t-s)dG_{n-1}(s)$ 가 된다.

따라서, $X_i$의 분포가 주어지면 모든 자연수 $n$에 대해 $S_n$의 cdf, pdf값을 구하는 것이 이론적으로 가능하다. ($X_i$가 기하분포를 하면 $S_n$은 음이항분포를, $X_i$가 지수분포를 하면 $S_n$은 감마분포를 한다.) $\lbrace S_n\le t \rbrace \leftrightarrow \lbrace N(t)\ge n \rbrace$

이므로, $\lbrace N(t)=n \rbrace = \lbrace N(t)\ge n\rbrace-\lbrace N(t)\ge n+1\rbrace = \lbrace S_n \le t \rbrace - \lbrace S_{n+1} \le t \rbrace$ 이 성립하고, 양변에 확률을 취하면, $P(N(t)=n) = G_n(t)-G_{n+1}(t)$ 가 된다.

이를 통해 다음 역시 확인할 수 있다.

(1) $P(N(t)=n) = G_n(t)=G_{n+1}(t)$

(2) $G_n(t) = \sum^\infty_{k=n} P(N(t)=k)$

또한, 위에 있는 확률 식에 $n=0$를 대입하면, $P(N(t)=0) = G_0(t) - G_1(t) = 1-F(t)$ 가 성립하고, 또한 $G_n$에 대한 식을 결합한다면 다음과 같은 일반식을 얻을 수 있다. $P(N(t)=n) = \int^t_0 [1-F(t-s)]dG_n(s)$

재생함수와 재생방정식

재생함수 : $(0,t]$시간 동안의 평균 재생수 $U(t) = E(N(t)) = \sum^\infty_{n=0}nP(N(t)=n) = \sum^\infty_{n=0}P(N(t)\ge n) = \sum^\infty_{n=1}G_n(t)$ 위 식을 변형하면 $E(N(t)) = U(t) =\sum^\infty_{n=1}G_n(t) = G_1(t) + \sum^\infty_{n=2}\int^t_0 F(t-s)dG_{n-1}(s)$

$= G_1(t) + \sum^\infty_{n=2}\int^t_0 F(t-s)d(\sum^\infty_{n=2}G_{n-1}(s))$

에 $G_1=F$를 대입하면, $U(t) = F(t) + \int^t_0U(t-s)dF(s)$ 인 재생방정식(Renewal equation)을 얻을 수 있다.

즉, $G_n, N(t)$ 없이도 분포함수만으로 평균 재생수를 구할 수 있음을 알 수 있다.

양변을 미분하고, $d{U(t)\over dt}=u(t)$라고 두면, $u(t) = {d\over dt}U(t) = \sum^\infty_{n=1}g_n(t)$

$u(t) = f(t) + \int^t_0f(t-s)u(s)ds,\ t>0$

이 성립한다. $f$가 주어진다면, 라플라스 변환을 이용해 $u(t)$를 구할 수 있다.

비음수함수 $f,u$의 라플라스 변환을$f^,u^$라고 하면, $\alpha\ge0$에 대해 다음을 얻을 수 있다. $f^*(\alpha) = \int^\infty_0e^{-\alpha t}f(t)dt, \ u^*(\alpha) = \int^\infty_0e^{-\alpha t}u(t)dt$ 에서, $w(t) = \int^t_0f(t-s)u(s)ds$ 라고 두면 다음이 성립한다. $w^*(\alpha) = \int^\infty_0e^{-\alpha t}w(t)dt \\ \qquad\qquad\qquad\qquad\qquad\quad\;\;\;=\int^\infty_0\int^t_0e^{-\alpha (t-s)}f(t-s)e^{-\alpha s}u(s)dsdt \\ \qquad\qquad\qquad\qquad\qquad\quad\;\;\;\;=\int^\infty_0\int^\infty_se^{-\alpha (t-s)}f(t-s)e^{-\alpha s}u(s)dtds\\ \qquad\qquad\qquad\qquad\quad\;\;=\int^\infty_0e^{-\alpha s}u(s)ds\int^\infty_0e^{-\alpha y}f(y)dy\\ \;\;\,=f^*(\alpha)u^*(\alpha)$ 따라서, 라플라스 변환으로 $u^*(\alpha) = f^*(\alpha)+u^*(\alpha)\cdot f^*(\alpha)$ 즉 $u^*(\alpha) = {f^*(\alpha)\over1-f^*(\alpha)}$ 를 얻는다. 여기서 $X$의 분포와 $u$ 사이 1:1 대응관계가 있음을 알 수 있다.

극한성질

임의의 t에 대해,

의 관계가 있으므로, 위 식의 각 항을 $N(t)$로 나누면,

math

가 성립하고, 또한 ${S_{N(t)} \over N(t) }= \sum^{N(t)}_{i=1}{X_i\over N(t)} \\ {S_{N(t)+1} \over N(t) } = {S_{N(t)+1} \over N(t)+1 } \cdot {N(t)+1 \over N(t) }$ 이 성립하므로, 강대수법칙을 적용하면,

이 성립한다. 또한, 부등식의 모든 변에 극한을 취하면,

라는 결론을 얻게 된다.

$N(t)\over t$는 시간 $(0,t]$에서 단위시간당 사건 발생수를 의미하므로, $1\over\mu$은 오랜 시간이 흐른 후의 단위시간당 재생수를 나타내는 값이 된다. 따라서 이를 재생비(Renewal rate)라고 한다.

추 가적으로, 기댓값의 극한에 대해서 ${E(N(t))\over t}\rightarrow {1\over\mu}$ 가 성립하고 이를 기초재생정리(elementary renewal theorem)이라고 한다.

추가적으로, 다음과 같은 결과도 얻을 수 있다고 한다.

(1) 중심극한정리를 이용하면 충분히 큰 $t$에 대해, $N(t) \simeq N({t\over\mu},{\sigma^2t\over\mu^3})$ (2) $\sum^\infty_{n=0}P(X=\pm na) = 1$이 과는 $a>0$이 존재하면, $X$는 격자분포를 한다고 한다. 이때, 비음수 함수 $X_i$의 분포가 격자분포가 아니면, 충분히 큰 t에 대해, $E(N(t+h))-E(N(t) \simeq {h\over\mu})$ 가 성립한다.

(3) (Key 재생정리) 재생간격시간 $X$의 분포가 격자분포가 아니고, $h(t)$가 직접리만적분가능하면, $\lim_{t\rightarrow \infty}\int^t_0h(t-x)dU(x) = {1\over u}\int^\infty_0h(t)dt$ 가 성립한다. 여기서 $U(t) = E(N(t)), \mu = E(X)$이다. $\int^\infty_0h(t)dt < \infty$를 만족하는 음이아닌 증가함수 $h(t)$를 직접리만적분가능함수 라고 한다. 이 정리는 $g(t)=h(t)+\int^t_0h(t-x)dU(x)$ 형태의 방정식에서 $g(t)$의 극한값을 찾는데 유용하게 쓰일 수 있다. 이때 $g(t)$는 주로 $t$시점에서의 확률이나 기댓값을 나타낸다.

현재수명, 초과수명, 총수명

재생시간을 임의의 시점 t에서 관찰했을때,

(1) 현재수명(current life) : t 직전 재생이 일어난 이후 지금까지 경과된 시간(현재수명) $\gamma_t = S_{N(t)+1}-t$ (2) 잔여수명(excess life) : t 시점이후 처음 재생이 일어날 때까지의 시간 $\delta_t = t-S_{N(t)}$ (3) 총수명(recurrence time) : (1)+(2) $\beta_t = \gamma_t + \delta_t$ Key 재생정리를 이용하면, 위 세개 수명에 대해 극한분포를 가짐을 확인할 수 있다. $\lim_{t\rightarrow\infty}P(\gamma_t\le x) = {1\over\mu}\int^x_0(1-F(y))dy\\ \lim_{t\rightarrow\infty}P(\delta_t\le x) = {1\over\mu}\int^x_0(1-F(y))dy\\ \lim_{t\rightarrow\infty}P(\beta_t\le x) = {1\over\mu}\int^x_0y\ dF(y)$ 위를 이용하여 다음을 보일 수 있다. $\lim_{t\rightarrow\infty}E(\gamma_t) = \lim_{t\rightarrow\infty}E(\delta_t)= {\mu^2+\sigma^2\over2\mu}$ 또한, 총수명 $\beta_i$ 는 재생간격시간보다 확률적으로 길다. 즉, $P(\beta_i>x)\ge P(X>x)$ 가 성립한다. 총수명은 관찰 시점 $t$를 포함해야 하므로, 재생간격시간보다는 길어지게 된다. (inspection paradox)

재생과정 일반화

지연재생과정

$X_1,X_2,X_3, \cdot\cdot\cdot$은 서로 독립이고, $X_1$의 분포함수는 $F_1$이고, $X_2,X_3, \cdot\cdot\cdot$의 분포함수는 $F$인 확률과정을 지연재생과정(delayed renewal process)라고 한다.

재생과정 $\lbrace N(t)\mid t\ge0\rbrace$에서 최초의 관찰 시점을 y라고 하면, y시점 이후의 재생과정 $\lbrace N(t)\mid t\ge y\rbrace$에서 첫번째 재생이 일어나는 시점은 $y$의 잔여수명 $\gamma_y$가 된다. $y$시점 이후의 확률과정은 $\gamma_y$의 분포를 $X_1$의 분포로 하는지연재생과정이다. $N_D(t)$를 지연재생과정이라고 하고, $U_D(t) = E(N_D(t))$라 하면 아래의 관계가 성립한다.

(1) $t\rightarrow\infty$일 때 확률 1로 ${N_D(t)\over t}\rightarrow{1\over\mu}$

(2) $t\rightarrow\infty$이면 ${U_D(t)\over t}\rightarrow{1\over\mu}$

여기서 $\mu = E(X_2)$이다.

지연재생과정에서 $X_1$의 분포함수 $F_1$이 잔여수명 $\gamma_y$의 극한분포 $G$, $G(x) = {1\over\mu}\int^x_0(1-F(y))dy$ 와 같은 지연재생과정을 정상재생과정(stationary renewal process)라고 한다. 정상재생과정에서 모든 시점에서의 현재수명 및 잔여수명의 분포는 $G$와 동일하다.

재생보상과정

재생과정 $\lbrace N(t)\mid t\ge0\rbrace$에서 $n$번째 재생이 발생하는 시점에서 보상 $R_n$을 얻는다면, $t$시간까지의 보상의 합을 $R(t)$라고 할때 다음이 성립한다.

시간이 일어날 때마다 적절한 보상이 이루어지고 $R_n$이 iid를 한다면, t시간까지 발생한 보상의 합 $R(t)$와 같은 확률과정을 누적과정(cumulative process) 또는 재생보상과정(renewal reward process)라고 한다.

재생간격시간 $X_n$과 $R_n$은 일반적으로 서로 독립이 아니다.

이라고 두고 만약 $E[R]<\infty, E[X]<\infty$이면,

이 성립하고, 여기에 강대수법칙을 적용하면,

이고,

이므로,

이 성립한다.

이는 궁극적으로 단위시간당 발생하는 평균보상액은 $(0,t]$시간 동안 전 과정을 관찰하지 않아도 한 번의 재생에서 얻게 되는 평균보상액을 재생간격시간의 평균값으로 나눔으로써 얻을 수 있다는 재생보상정리(renewal reward theorem)이라고 한다.

참고로, $X_1,X_2,\cdot\cdot\cdot$이 독립동등분포를 하고 이들이 또 다른 확률변수 $N$과 서로 독립일때 다음이 성립한다. $E(\sum^N_{i=1}X_i) = E(X)E(N)$

교대재생과정

$X_n$을 n번째 작동시간이라 하고, $Y_n$을 n번째 수리에 필요한 시간이라고 하자. $X_n(n\ge 1)$은 분포함수 F를 따르는 독립동등분포를 하고, $Y_n(n\ge 1)$은 분포함수 $G$를 따르는 독립동등분포를 하고, $X_n,Y_n$이 독립일 때, 이러한 확률 과정은 교대재생과정(alternative renewal process)이라고 한다.

$t$시점에서 작동상태에 있을 확률을 $P(t)$라고 하면, $Z_n = X_n+Y_n$이 격자분포를 따르지 않으면, $P(t) \rightarrow {E(X_n)\over E(X_n+Y_n)}$ 이 성립한다. 이는 Key 재생정리를 이용하여 증명할 수 있다.

재생성과정

확률과정 $\lbrace X_t : t\ge0\rbrace$이 특정 시점 $T_1$ 이후의 확류로가정 $\lbrace X_{T_1+t} : t\ge0\rbrace$와 확률적으로 동일하면 이러한 확률과정을 재생성과정(regenerative process)라고 한다. 이러한 관계를 만족하는$T_1$이 존재하면 연속적으로 같은 성질을 갖는 $T_2,T_3,\cdot\cdot\cdot$의 존재를 밝힐 수 있다. $T_i$를 $i$번째 확률과정이 새롭게 시작되는 시점으로 보면, $N(t) = max\lbrace n: T_1+T_2+\cdot\cdot\cdot+T_n\le t \rbrace$ 로 정의된 $N(t)$는 t시점까지 새롭게 시작되는 시점들의 수를 나타내는 재생과정이 된다.

양재귀 마르코프연쇄에서 $i$에서 시작한 확률과정이 $i$번째로 돌아오는 시점을 $T_i$라고 하면, 양재귀 마르코프연쇄는 재생성과정으로 볼 수 있다. 재생성과정은 재생과정이다. 단지 재생과정은 연속해서 발생하는 재생간격시간들에 관심을 둔 경우이고, 재생성과정은 재생성이 일어나는 시점들 사이에 발생하는 현상들에 관심을 둔다. 재생성간격시간을 한 사이클로 보면 다음이 성립한다.

또한, $E(T_1)<\infty$이면 확률 1로 다음이 성립한다. $\lim_{t\rightarrow\infty} {(0,t] 시간\;동안\;j상태\;위에\;있는\;시간\over t} \\{E(한 \;사이클\;동안\;j상태\;위에\;있는\;시간)\over E(한\;사이클의\;길이)}$