试画出此马氏链的状态转移图，讨论其状态空间的分解、状态分类、各状态的周期和平稳分布.
解：图略 (2分) C1?{0,3}，均为遍历状态； (2分)
C2?{2,4}，均为正常返状态，周期为2； (2分)
D?{1}，为非常返状态，无周期. E?D?C1?C2. (2分) 解方程组
11????3??00?22?1???1??2?23? ? (3分) 11?????033?22?2?1??2??4?3???1??2??3??4??0?1?pqpq?得平稳分布?,0,,,?,?2222?p?q?1,0?p,q?1. (2分)
七．（5分）设马氏链{Xn}的状态空间为E?{0,1,2?}，一步转移概率矩阵为
?r0p0000?qr1p1001 ??0q2r2p20????????????，其中pi,qi,ri?0,i?0,1,2,?,它是不可约的.?????记a0?1,aj?p0p1?pj?1q1q2?qj(j?1)，试证此链存在平稳分布的充要条件是
?aj?0?j??.
证明 由???P，得
??0?r0?0?q1?1? ??j?pj?1?j?1?rj?j?qj?1?j?1(j?1) (2分)
?p?r?q?1?iii则 q1?1??0?r0?0
qj?1?j?1?pj?j?qj?j?pj?1?j?1(j?1)
得
?1?p0?0p?,?2?11,? q1q2?j?pj?1?j?1qj?pj?1pj?2?j?2qjqj?1???p0p1?pj?1q1q2?qj?0(j?1) (2分)
?而
??j?1??0?a1?0???aj?0???1
j?0即此链存在平稳分布的充要条件是
??aj??. j?0
(1分)
