확률과정04-지수분포와포아송과정
- 12 mins지수분포와 포아송 과정
8.1 지수분포
확률변수 $X$ 의 확률밀도함수가 아래와 같을 때, X는 모수 $\lambda$ 를 갖는 지수분포 를 따른다고 한다.
지수함수의 CDF는
모수 $\lambda$ 인 지수분포의 평균과 분산은 각각 다음과 같다.
지수분포의 비기억성(memoryless property)
$P(X>s) = 1-F(s) = e^{-\lambda x}$ 와 $P(X>s+t) =e^{-\lambda(s+t)} = e^{-\lambda s} e^{-\lambda t} = P(X>s)P(X>t)$ 에서,
우리는 다음 관계식을 얻을 수 있다.
예를 들어, 어떤 컴퓨터 칩의 수명을 지수분포를 따르는 확률변수 X라고 하면 $t$ 시점에 칩이 잘 작동하고 있었다면, $s+t$시점에 여전히 작동하고 있을 확률은 처음부터 시작하여 $s$시점에 작동하고 있을 확률과 동일함을 의미한다. 즉, $t$ 시점에 컴퓨터 칩이 작동하고 있었다면, $t$시점 이후의 컴퓨터 칩의 수명은 새 칩의 수명과 일치하게 된다. 이러한 성질을 비기억성이라고 한다.
또 많이 드는 예를 살펴보면, 버스의 도착시간이 지수분포를 따른다면 내가 20분을 기다렸든 30분을 기다렸든 방금 버스정류장에 도착했던 간에 앞으로 내가 버스가 올때까지 기다릴 시간의 기댓값은 모두 같다. 비기억성은 비현실적이지만, 이를 가정하면 상황을 모델링할때 훨씬 수월하게 다룰 수 있다. 이러한 특성때문에 실제로 시뮬레이션에서 지수분포를 많이 이용한다고 한다.
더해서, **지수분포는 비기억성을 가지고, 비기억성을 갖는 연속확률분포는 지수분포밖에 없다.**
다음은 지수분포와 관련된 몇가지 정리들이다.
-
$X$ 와 $Y$ 는 서로 독립이며 각각 모수 $\lambda$ 와 $\mu$ 를 갖는 지수분포를 따른다고 할때, $X$ 와 $Y$ 의 최솟값이 $t (>0)$보다 클 확률은 다음과 같다.
즉, $min(X,Y)$ 의 분포는 모수 $\lambda+\mu$ 인 지수분포를 한다.
이를 확장시켜 서로 독립이고 각각 모수 $\lambda_1, \lambda_2, … , \lambda_n$ 을 가지는 지수분포의 확률변수 $X_1,X_2,…,X_n$ 의 최솟값의 문포는 모수로 $\lambda_1+\lambda_2+…+\lambda_n$ 을 가지는 지수분포이다.
-
$X_1, X_2$ 가 각각 모수로 $\lambda_1, \lambda2$ 를 가지는 지수분포를 따르는 확률변수라면,
이다.
Waiting Time Paradox
연속적으로 도착하는 두 버스 사이의 도착간격 시간을 수명시간 $X$로 보고, $X$의 평균을 $\mu$, 분산을 $\sigma^2%$ 라고 하자. 직관적으로 생각해볼 때, $X$ 의 평균이 $\mu$이므로, 기다려야 하는 시간은 대략 ${1\over2}\mu$ 정도로 생각할 수 있다. 하지만..
승객이 버스정류장에 도착하여 버스가 올때까지 기다리는 시간을 $W$라고 하면,
이고, 이를 이용하여 $W$ 의 평균을 구하면 다음과 같다.
바로 윗 식에서 $\sigma^2 = 0$ 이라면 X는 상수 값을 가짐을 의미하고, 이는 버스가 일정한 시간마다 도착함을 의미한다. $X$가 모수 $\lambda$ 인 지수분포를 따른다고 가정하면, $\mu=\lambda^{-1}$ 이고 $P(X\ge x) =e^{-\lambda x}$ 이므로 이를 저 확률 공식에 대입하면, $P(W \le t) =1-e^{-\lambda t}$ 가 되어 $W$ 는 $X$ 와 같은 지수분포를 갖게 된다. 이는 지수분포의 비기억성에 의해 언제 승객이 정류장에 도착했건 간에 기다려야 하는 시간의 분포가 같음을 의미한다. 즉 언제 도착했던 간에 같은 시간만큼 기다리는 것이 기대된다는 것이다. $\mu = {1\over \lambda}, \sigma^2 = {1\over \lambda^2}$ 을 기댓값 식에 대입하면 $E(W) = {1\over \lambda}$, 즉 모수가 $\lambda$ 인 지수분포의 기댓값과 일치한다.
실패율함수(failure rate function) 또는 위험률함수(hazard rate function)
$F(X), f(x)$ 를 각각 누적분포함수와 확률밀도 함수로 가지는 확률변수 $X$ 가 수명시간을 나타낸다고 하면, $h>0$ 에 대하여 다음 식은 수명시간 $X$ 가 $t$ 시간 이상이라고 할 때 추가되는 $h$ 시간 동안에 수명이 끝날 확률을 나타낸다.
양변을 $h$로 나누고 $h \rightarrow 0$ 이면 다음을 얻는다.
$r(t)$는 t시간까지 생존한 것이 t시점을 지나면서 고장날 조건부 확률의 강도, 즉 조건부확률밀도함수를 나타내므로 이를 실패율함수(failure rate function) 또는 위험률함수(hazard rate function)라고 부른다. $r(t)h \approx P(X\le t+h \mid X>t)$ 는 t 시간 생존한 $X$가 $h$ 시간안에 사망할 확률을 의미한다. 여기서 관계식
이 성립하므로, $R(t) = \int^t_0 r(x)dx$라 두면 다음이 성립한다.
따라서, 실패율 함수 $r(t)$ 가 주어지면, $X$ 의 분포를 알 수 있다.
더해서, 일반적으로 실패율 $r(t)$ 는 시간 $t$ 의 함수지만, 지수함수의 경우 비기억성으로 인해 $r(t)$ 가 상수 값이 된다.
8.2 포아송과정
$(0,t]$ 시간 동안에 발생한 어떤 사건들의 총 수를 $N(t)$ 로 나타내면 $\lbrace N(t) \mid t \ge 0 \rbrace$ 는 하나의 확률과정이 된다.
- $N(t) \ge 0 $
- $N(t)$ 는 정수 값을 같는다.
- $s<t$ 이면 $N(s) \le N(t)$ 이다.
- $s<t$ 일 때 $N(t)-N(s)$ 는 $(s,t]$ 에서 발생하는 사건의 수를 나타낸다.
위의 4가지 조건을 만족하는 확률과정 $\lbrace N(t) \mid t \ge 0 \rbrace$ 를 특별히 셈과정(Counting Process) 라고 한다.
독립증분(independent increment)와 정상증분(statinonary increment)
-
독립증분 서로 겹치지 않는 시간 구간 안에서 일어나는 사건 발생 수가 독립일때, 독립증분(independent increment) 를 갖는다고 한다. 즉 $N(t)$ 가 독립증분을 가지면 $t_1 < t_2 < … < t_n$ 에서,
은 서로 독립이 된다.
-
정상증분
사건 발생수가 오로지 시간 구간의 길이에 따라 좌우될 때, 정상증분(stationary increment) 을 갖는다고 한다. 즉, $N(t)$ 가 정상증분을 가지면, $t_1<t_2 , s>0$ 에 대하여, $N(t_2) - N(t_1) $ 과 $N(t_2+s) - N(t_1+s)$ 은 같은 분포를 한다.
포아송과정(Poisson Process)
다음 조건을 만족하는 셈과정을 포아송 과정이라고 한다.
(1) $N(0)=0$
(2) 독립 증분을 갖는 확률 과정이다.
(3) 임의의 $s,t \ge 0 $에 대하여
여기서 조건 (3)에서 정상증분을 가짐을 파악할 수 있다. 포아송분포의 평균과 분산은 모수와 같으므로, $E(N(t)) = \lambda t$ 가 된다.
다음 조건을 만족하는 셈과정에 대해 살펴보자
(1) $N(0)=0$
(2) 독립증분과 정상증분을 갖는다.
매우 작은 $t$ 에 대해,
(3) $P(N(t)\ge 2) = o(t)$
(4) $P(N(t) =1) = \lambda t +o(t)$
여기서 $o(t)$ 는 $\lim_{t\rightarrow 0} {f(t)\over t} =0$ 을 만족하는 모든 함수 $f$ 를 의미한다. (like big O notation) 미분 - 차분 방정식을 이용하여, $N(t)$ 가 모수 $\lambda t$ 를 가지는 포아송 분포를 함을 증명할 수 있다.
Proof
set $ P_n(t) = P(N(t)=n)$, then
and $h \rightarrow$ 0, we get
and integrate both sides,
because of premise (1), $P_0(0) = P(N(0)=0)=1$, so we can get
and for $n>0$,
and then, apply premise (1)~(4),
and subtract $P_n(t)$ , and divide by $h$, make $h \rightarrow 0$, multiply $e^{\lambda t}$ we get..
With mathematical induction, we can finally get
plus, $N(t)$ has stationary increment, then for any $s>0$,
즉 위의 조건을 만족할 경우 역시 포아송 프로세스가 됨을 알 수 있다.
8.3 도착간격시간 분포 및 대기시간 분포
이 단원의 내용은 다음 두개의 문장으로 요약 가능하다.
“모수 $\lambda$인 포아송 과정에서 도착간격을 $X_n$이라 하면 $X_1,X_2,…$ 는 서로 독립이고, 모수 $\lambda$를 갖는 지수분포를 따른다.”
“도착간격 $X_1,X_2,…$ 이 서로 독립이고 모수 $\lambda$인 지수분포를 따른다면, $t$시간까지 발생한 사건의 수를 나타내는 셈과정은 도착률 $\lambda$인 포아송 과정이다.”
셈과정에서, n번째 사건이 도착(또는 발생)한 시점을 $S_n$이라 하면 $S_n$은 n번째 사건이 도착할 떄까지의 대기시간으로 볼 수 있고, $X_n = S_n - S_{n-1}$이라 두면 이는 (n-1)번째 사건과 n번째 사건 사이의 경과된 시간이다. 이때 $X_n$의 수열을 interarrival time 수열이라고 정의한다.
모수 $\lambda$를 갖는 포아송과정에서의 $X_n$의 분포를 알아보자.
이고,독립-정상증분 성질에 의해
이고, $P(X_2>t) = E[P(X_2>t \mid X_1)] = e^{-\lambda t}$ 이 되므로, $X_1 = s$의 영향은 없다는 사실, 즉 $X_1, X_2$가 독립임을 알 수 있다. 일반적으로 $t,t_1,t_2,…,t_{n-1} \ge 0$에 대해 다음이 성립하여 첫번째 문장과 같은 결론을 내릴 수 있다.
또한, 도착간격 $X_1,X_2,…,X_n$이 서로 독립이고 모수 $\lambda $인 지수분포를 가지면, 대기시간 $S_n = \sum ^n_{i=1} X_{i}$ 이므로 $S_n$은 모수 $(n,\lambda)$인 감마분포를 하게 된다. 따라서 $S_n$의 확률밀도함수, 평균, 분산은 다음과 같이 주어진다.
또한 의미적으로 다음을 알 수 있다.
따라서, 부분적분을 이용하면,
그러므로,
즉, 두번째 대문장 역시 포아송분포의 정의가 될 수 있음을 말해준다.
8.4 균등분포와 포아송 과정
승객이 열차 대합실에 도착하는 것은 모수 $\lambda$인 포아송과정을 따르며, 기차는 매 $t$분마다 출발한다고 할대, 각 승객이 대합실에서 기다리는 시간들의 총합은 어떻게 될까?
$t_1 < t_2 < … < t_n $에 대해, 조건부 도착시점의 결합확률밀도함수를 구하면,
이다. 이는 $(0,t)$에서 균등분포를 하는 n개의 독립확률변수들의 순서통계량의 결합확률밀도함수이다. 이는 단순이 의미적으로도 직관적 파악이 가능하다.
즉, $N(t)=n$일때, 각 승객들의 도착시점 $S_1,S_2,…,S_n$의 조건부분포는 서로 독립이고 $(0,t]$에서 균등분포를 하는 확률변수들 $U_1,U_2, …, U_n$의 순서통계량 $U_{(1)},U_{(2)},…U_{(n)} $과 같은 분포를 한다.
위에서 구하려던 대기시간의 합은 $N(t)=n$에서, $\sum^n_{i=1}(t-S_i)$가 된다. 따라서 대기시간의 총합에 대한 기댓값은,
를 이용하여,
를 구할 수 있다.
더해서, 모수 $\lambda$인 포아송과정으로 고객이 도착하고, 고객들이 도착하자마자 서비스를 받는다고 할때, $t$시점에 서비스장소에 있는 고객수를 $X_t$라 할 때 $X_(t)$의 분포는, 모수 $\lambda p$인 포아송과정이 된다. (단, $N(t)$는 $t$시점까지 도착한 총 고객수, $Y_i$는 $i$번째 들어온 고객의 서비스 시간, $Y_i$에 대한 분포함수를 $G(x)$라고 하고, $U_i$는 $(0,t]$사이에서 독립 균등 분포를 하는 확률변수라고 할때,
라고 정의된다.)
8.5 포아송과정의 합과 분해
포아송과정의 합
모수 $\lambda_1$을 가지는 포아송과정 $\lbrace N_1(t) \mid t \ge0\rbrace$와 모수 $\lambda_2$를 가지는 포아송 과정 $\lbrace N_2(t) \mid t \ge0\rbrace$에 대해, 두 과정이 독립이고 $N(t) = N_1(t)+N_2(t)$라 하면,
$N(0) = N_1(0) + N_2(0) = 0$이고, $N(t)$역시 독립증분을 가지므로,
즉, $N(t)$는 모수 $\lambda_1 + \lambda_2$를 가지는 포아송과정이 된다.
일반적으로, $i=1,2,…,n$에 대하여 형태 $i$의 확률과정 $N_i(t)$가 모수 $\lambda_i$를 갖는 서로 독립인 포아송과정이면 $N(t) = \sum^k_{i=1}N_i(t)$는 모수 $\lambda = \sum^k_{i=1} \lambda_i$를 갖는 포아송과정이 된다.
포아송과정의 분해
$N_1(t),N_2(t)$를 각각 (0,t] 구간 내에서 발생한 형태I와 형태II 사건의 수라고 하고, 각각의 사건이 형태 I,II가 될 확률이 각각 $p,1-p$가 된다고 하자.
$N_1(t), N_2(t)$의 결합분포를 구하면,
따라서,
이다. 즉 $N_1(t)$는 모수가 $\lambda p$인 포아송과정이 된다. 같은 방법으로 $N_2(t)$의 분포를 구하면, 모수 $\lambda(1-p)$인 포아송과정이 됨을 확인할 수 있다. 또한 위 두식으로 두 포아송과정이 독립임을 쉽게 알 수 있다.
일반화하면, $k\ge2$에 대해 다음이 성립한다.
모수 $\lambda$인 포아송과정에서 일어나는 사건의 형태를 $k$가지로 나눌 수 있고 각 사건이 서로 독립적으로 형태 $i$가 될 확률이 $p_i$라면 $t$시간까지 형태 $i$가 일어난 횟수 $N_i(t)$는 모수 $\lambda p_i$를 같는 서로 독립인 포아송과정이 된다.
보다 일반화하여, 시점 $s$에서 발생한 사건이 형태$i$일 확률을 $s$의 함수 $p_i(s)$라 가정해보자. 이때 t시간까지 도착한 형태 $i$의 사건의 수를 $N_i(t)$라 하면 $N_i(t), i=1,2,3..,k$는 서로 독립이고, 모수 $\lambda p_it$를 갖는 포아송분포가 된다. 단, $p_i$는 아래와 같다.
따라서, 포아송과정은 나타나는 유형에 따라 구분하여 얻은 몇 개의 서로 독립인 포아송과정들의 합으로 표시할 수 있다.
8.6 일반화된 포아송과정
비정상 포아송과정
비정상 포아송과정은 포아송과정이 아니며,도착률 $\lambda$가 일정하지 않고 시간 $t$의 함수형태로 나타난다.
(1) $N(t)=0$
(2) 독립증분을 갖는다.
(3) $P(N(t+h)-N(t) \ge2) = o(h)$
(4) $P(N(t+h)-N(t)=1)=\lambda(t)h+o(h)$
$\lambda$가 상수가 아니기때문에 함수 형태 $\lambda(t)$로 두고, $m(t) = \int^t_0\lambda(r)dr$로 두면,
따라서, $N(t+s)-N(t)$은 평균 $\int^{t+s}t\lambda(r)dr = [m(t+s)-m(t)]$인 포아송 분포를 따른다.
복합 포아송과정
$\lbrace N(t) \mid t\ge0\rbrace$은 모수 $\lambda$인 포아송과정이고 $\lbrace Y_n \mid n\ge0\rbrace$은 서로 독립동등분포를 하며 $\lbrace N(t) \mid t\ge0\rbrace$와 독립인 확률변수들의 열일떄,
을 복합 포아송과정(compound Poisson Process)라고 한다.
$X_t$의 평균과 분산을 구해보면,
를 이용하여,
분산은,
이므로,
이다. 복합 포아송과정은 포아송과정이 아니며, $Y_i=1$일 때에 한하여 포아송과정이 된다.
조건부 포아송과정
$\Lambda$가 분포 G를 갖는 양의 확률변수이가. $\Lambda=\lambda$라 가정할 때 $N(t)$가 모수 $\lambda$인 포아송과정을 따른다면,
이 성립한다. 이때 $\Lambda=\lambda$라는 가정하에 $N(t)$가 모수 $\lambda$인 포아송과정을 따르기 때문에 $N(t)$를 조건부 포아송 과정이라고 한다. 하지만, 엄밀하게 $N(t)$는 독립증분의 성질은 갖지 않는다.