Lancuchy Markowa - Marcin Szymański

Marcin Szymański, Szkoła Główna Handlowa w Warszawie
Łańcuchy Markowa
Def. 1 (Macierz stochastyczna).
P = [pij ]r×r :
∀i = 1, . . . , r
r
X
pij = 1
j=1
Def. 2 (Macierz podwójnie stochastyczna). Macierz stochastyczna, gdzie dodatkowo
∀j = 1, . . . , r
r
X
pij = 1
i=1
Tw. 1. W każdej macierzy stochastycznej1
λ1 = 1
∧
∀i
|λi | ¬ 1
Def. 3 (Macierz rozkładalna). Macierz, dla której2 n1 > 1
Def. 4 (Macierz nierozkładalna). Macierz, dla której λ1 = 1 n1 = 1
Def. 5 (Macierz cykliczna). Macierz, dla której
∃λi 6= 1 :
|λi | = 1
Def. 6 (Macierz niecykliczna). Macierz, dla której
6 ∃λi 6= 1 :
|λi | = 1
Def. 7 (Macierz regularna). Macierz niecykliczna i nierozkładalna
Def. 8 (Skończony Łańcuch Markowa). Proces stochastyczny taki, że
∀i, j, i0 , i1 , . . . , in−2 ∈ S
ozn.
Def. 9 (Macierz ergodyczna (E)). Macierz o wszystkich wierszach identycznyh
Def. 10 (Rozkład bezwarunkowy łańcucha).
dn = [dn1 , . . . , dnr ]
dn = dn−1 P = d0 P
dni = P (Xn = 1)
n
Tw. 2.
∀1 < m < n
(n)
pij =
X
(m) (n−m)
pik pkj
k∈S
Tw. 3. Dla macierzy ergodycznej
E = E2 = En
Def. 11 (Stany skomunikowane).
∃k1 , k2
(k )
(k )
pij 1 > 0 ∧ pji 2 > 0
Def. 12 (Stan chwilowy). Stan taki ,że można i → j, ale nie można j → i (w dowolnej liczbie kroków)
Def. 13 (Stan istotny). Stan taki ,że można i → j, to można j → i (w dowolnej liczbie kroków)
Def. 14 (Stan okresowy). Powrót możliwy tylko w kt ∧ t > 1 kroków
Def. 15 (Stan pochłaniający).
pii = 1
1 Po
2n
1
(n)
P (Xn = j|Xn−1 = i, Xn−2 = in−2 , . . . , X0 = i0 ) = P (Xn = j|Xn−1 = i) = pij
odpowiedniem przenumerowaniu wektorów własnych
- krotność algebraiczna wartości własnej λ1 = 1
1
Marcin Szymański, Szkoła Główna Handlowa w Warszawie
Def. 16 (Macierz przywiedlna (redukowalna)). Macierz, w której można tak przenumerować stany,
żeby otrzymać
T 0
P =
R S
Gdzie T jest macierzą stochastyczną
Tw. 4. Jeżeli macierz jest rozkładalna to jest przywiedlna
Tw. 5. Jeżeli macierz jest nierozkładalna i:
• Wszystkie stany istotne są jednej klasy to jest nieprzywiedlna
• Istnieje więcej niż jedna klasa stanów istotnych to jest przywiedlna
Tw. 6. Jeżeli macierz jest rozkładalna to istnieje więcej niż jedna klasa stanów chwilowych i mogą
istnieć stany okresowe:
Tw. 7. Jeżeli macierz jest niecykliczna to wszystkie stany są nieokresowe
Tw. 8. Jeżeli macierz jest cykliczna i:
• nierozkładalna to wszystkie stany są okresowe o jednakowych okresie
• rozkładalna to niektóre satny są okresowe
Def. 17 (Rozkład stacjonarny).
lim dn = [d1 , . . . , dr ]
gdzie
n→∞
dP = d
Tw. 9. Dla dowolnej macierzy stochastycznej istnieje
n
1X k
P =A
n→∞ n
lim
∧
P A = AP = A = A2
k=1
Tw. 10. Dla nierozkładalnej macierzy P istnieje macierz ergodyczna E = limn→∞ n1
lim
n→∞
Pn
k=1
1X
dk = d0 E = e
n
gdzie e jest wierszem E
Tw. 11. Dla niecyklicznej macierzy P istnieje macierz stochastyczna A = limn→∞ P n oraz
lim dn = d0 A
n→∞
gdzie e jest wierszem E
Def. 18 (Łańcuch ergodyczny).
(n)
lim p
n→∞ ij
= ej
Def. 19 (Łańcuch ergodyczny w sensie Cesaro).
X (k)
lim
pij = ej
n→∞
k
2
P k oraz