En esta sección se presentan algunos resultados teóricos que tienen relación con la existencia y cálculo de una distribución para la Cadena de Markov en el largo plazo (conocida también como Distribución Estacionaria).
Previamente, se enumeran algunas definiciones que clasifican los estados de una cadena. Para ello consideraremos el ejemplo que utilizamos para introducir una Cadena de Markov en Tiempo Discreto, asumiendo la probabilidad de lluvia al inicio (y final del día) en un 20% (p=0,2).
El grafo que resume las probabilidades de transición es el siguiente:
Clasificación de Estados de una Cadena de Markov
Un estado j se dice accesible desde el estado i si y sólo si para algún n:
Lo anterior implica que existe una probabilidad no nula que comenzando en el estado i se puede llegar al estado j al cabo de n etapas. En nuestro ejemplo el estado 2 es accesible desde el estado 0 (dado que desde 0 se puede acceder a 1 y desde 1 se puede acceder a 2). Es trivial demostrar en este contexto que el estado 2 es accesible desde 1 (como también 1 lo es desde 2).
Adicionalmente si tanto el estado i es accesible desde j como viceversa decimos que los estados i y j se comunican. Notar que 1 es accesible desde 0 (como 0 también es accesible desde 1) por tanto 0 y 1 se comunican. También es posible demostrar que 1 y 2 se comunican. Luego por transitividad el estado 0 y 2 se comunican. Lo anterior deja en evidencia que en el ejemplo todos los estados se comunican entre sí, por lo cual pertenecen a la misma clase de estados.
Una cadena es irreducible si tiene una única clase de estados, es decir, los estados que la componen se comunican entre sí (son accesibles viceversa).
Un estado se dice que tiene periodo d, para el mayor valor del entero d que cumple:
sólo para valores de n pertenecientes al conjunto {d, 2d, 3d, ….}. Si d=1 decimos que el estado es aperiódico.
En otras palabras, un estado es periódico si, partiendo de ese estado, sólo es posible volver a él en un número de etapas que sea múltiplo de un cierto número entero mayor que uno.
En el ejemplo se puede volver a cada estado con probabilidad no nula al cabo de una etapa, condición suficiente (pero no necesaria) para afirmar que los estados son aperiódicos.
Se denota por Fk(i,i) la probabilidad de que el proceso retorne al estado i por primera vez al cabo de exactamente k etapas. De modo que:
es la probabilidad que partiendo en i, el proceso regrese al estado i alguna vez.
Si F(i,i)=1 se dice que el estado es recurrente (en caso contrario, es decir, F(i,i)<1, el estado es transciente).
La demostración matemática de que un estado es recurrente no resulta siempre trivial, no obstante en el ejemplo estamos frente a una cadena irreducible con un número finito de estados, por tanto dichos estados son recurrentes positivos.
El concepto de recurrente positivo se refiere a que el valor esperado del número de etapas que le toma al proceso volver al estado i por primera vez, partiendo del estado i es un número finito.
En resumen, se concluye que para el ejemplo propuesto, la cadena es irreducible con estados recurrentes positivos aperiódicos.