Стационарное распределение

Стационарное распределение цепи Маркова — это такое распределение вероятности, которое не меняется с течением времени.

Определение

Пусть { X n } n ≥ 0 {displaystyle {X_{n}}_{ngeq 0}} — однородная цепь Маркова с дискретным временем, счётным пространством состояний { 1 , 2 , … } {displaystyle {1,2,ldots }} , и матрицей переходных вероятностей P = ( p i j ) , i , j = 1 , 2 , … {displaystyle P=(p_{ij}),;i,j=1,2,ldots } . Тогда дискретное распределение q = ( q 1 , q 2 , … ) {displaystyle mathbf {q} =(q_{1},q_{2},ldots )} называется стационарным (инвариантным), если

q P = q {displaystyle mathbf {q} P=mathbf {q} } .

Замечание

Если q {displaystyle mathbf {q} } — начальное распределение цепи { X n } {displaystyle {X_{n}}} , то есть

P ( X 0 = i ) = q i , i ∈ N {displaystyle mathbb {P} (X_{0}=i)=q_{i},quad iin mathbb {N} } ,

то и распределение всех остальных членов X n , n ≥ 1 {displaystyle X_{n},ngeq 1} также совпадает с q {displaystyle mathbf {q} } .

Основная теорема о стационарных распределениях

Пусть { X n } n ≥ 0 {displaystyle {X_{n}}_{ngeq 0}} — цепь Маркова с дискретным пространством состояний. Тогда у этой цепи существует единственное стационарное распределение тогда и только тогда, когда в множестве ее состояний найдется ровно один положительно возвратный класс.