Clasificación de Estados de una Cadena de Markov en Tiempo Discreto

En esta sección se presentan algunos resultados teóricos que tienen relación con la existencia y cálculo de una distribución para la Cadena de Markov en el largo plazo (conocida también como Distribución Estacionaria).

Previamente, se enumeran algunas definiciones que clasifican los estados de una cadena. Para ello consideraremos el ejemplo que utilizamos para introducir una Cadena de Markov en Tiempo Discreto, asumiendo la probabilidad de lluvia al inicio (y final del día) en un 20% (p=0,2).

El grafo que resume las probabilidades de transición es el siguiente:

grafo-markov-clasificacion-

Clasificación de Estados de una Cadena de Markov

Un estado j se dice accesible desde el estado i si y sólo si para algún n:

estado-accesible-cadena-de-

Lo anterior implica que existe una probabilidad no nula que comenzando en el estado i se puede llegar al estado j al cabo de n etapas. En nuestro ejemplo el estado 2 es accesible desde el estado 0 (dado que desde 0 se puede acceder a 1 y desde 1 se puede acceder a 2). Es trivial demostrar en este contexto que el estado 2 es accesible desde 1 (como también 1 lo es desde 2).

Adicionalmente si tanto el estado i es accesible desde j como viceversa decimos que los estados i y j se comunican. Notar que 1 es accesible desde 0 (como 0 también es accesible desde 1) por tanto 0 y 1 se comunican. También es posible demostrar que 1 y 2 se comunican. Luego por transitividad el estado 0 y 2 se comunican. Lo anterior deja en evidencia que en el ejemplo todos los estados se comunican entre sí, por lo cual pertenecen a la misma clase de estados.

Una cadena es irreducible si tiene una única clase de estados, es decir, los estados que la componen se comunican entre sí (son accesibles viceversa).

Un estado se dice que tiene periodo d, para el mayor valor del entero d que cumple:

estado-periodico-markov

sólo para valores de n pertenecientes al conjunto {d, 2d, 3d, ….}. Si d=1 decimos que el estado es aperiódico.

En otras palabras, un estado es periódico si, partiendo de ese estado, sólo es posible volver a él en un número de etapas que sea múltiplo de un cierto número entero mayor que uno.

En el ejemplo se puede volver a cada estado con probabilidad no nula al cabo de una etapa, condición suficiente (pero no necesaria) para afirmar que los estados son aperiódicos.

Se denota por Fk(i,i) la probabilidad de que el proceso retorne al estado i por primera vez al cabo de exactamente k etapas. De modo que:

estado-recurrente-markov

es la probabilidad que partiendo en i, el proceso regrese al estado i alguna vez.

Si F(i,i)=1 se dice que el estado es recurrente (en caso contrario, es decir, F(i,i)<1, el estado es transciente).

La demostración matemática de que un estado es recurrente no resulta siempre trivial, no obstante en el ejemplo estamos frente a una cadena irreducible con un número finito de estados, por tanto dichos estados son recurrentes positivos.

El concepto de recurrente positivo se refiere a que el valor esperado del número de etapas que le toma al proceso volver al estado i por primera vez, partiendo del estado i es un número finito.

En resumen, se concluye que para el ejemplo propuesto, la cadena es irreducible con estados recurrentes positivos aperiódicos.

Ejemplo de una Cadena de Markov en Tiempo Discreto

En el siguiente artículo abordaremos la formulación de una Cadena de Markov en tiempo discreto, para la cual identificaremos la variable aleatoria que resulta de interés su análisis, los posibles estados que puede adoptar dicha variable en un periodo cualquiera y las probabilidades de transición en una etapa que se puede resumir en una matriz de transición de probabilidades conocida como matriz P. En dicho contexto consideremos el siguiente ejemplo:

Un individuo posee 2 paraguas los cuales emplea para ir de su casa al trabajo y viceversa (llevando uno a la vez). Si está en casa (oficina) al comienzo (final) del día y está lloviendo toma un paraguas, si lo hay para ir de su casa a la oficina y viceversa. Asuma que independiente del pasado llueve al comienzo (final) del día con probabilidad p (0<p<1). Se desea modelar el número de paraguas en su casa al inicio del día n, suponiendo que inicialmente ambos paraguas están en su casa.

El problema sugiere como variable aleatoria el modelamiento del número de paraguas que tiene el individuo en su casa al inicio del día n:

variable-aleatoria-markov-p

Los posibles estados o valores que puede adoptar la variable aleatoria en una etapa n cualquiera son 0, 1 o 2. Es decir, el individuo podrá tener en su casa al inicio de un día en particular 0, 1 o 2 paraguas.

estados-cadena-markov-parag

A continuación corresponde identificar las probabilidades de transición en una etapa, lo cual depende de la dinámica de la situación planteada:

probabilidades-de-transicio

Por ejemplo P(0,0) representa la probabilidad de que un día el individuo no tenga paraguas en su casa (por tanto los 2 paraguas están en la oficina) y que al inicio del día siguiente siga en la misma situación (es decir, sin paraguas en la casa). Los escenarios que permiten esta situación son que llueva en la mañana (con probabilidad p) y que no llueva en la tarde (con probabilidad 1-p). Adicionalmente si no llueve en la mañana (con probabilidad 1-p) y no llueve en la tarde (con probabilidad 1-p) el individuo al inicio del día siguiente no tendrá paraguas en la casa. En consecuencia se puede notar que para este caso lo relevante es que no llueva en la tarde (sin importar si llueve o no en la mañana) para que de esta forma el individuo no se lleve un paragua desde la oficina a la casa.

Otra combinación interesante es P(2,2) que considera la probabilidad de tener los 2 paraguas en la casa al inicio de un día (y por tanto ninguno en la oficina) y al inicio del día siguiente también tener 2 paraguas en la casa. Para ello se debe cumplir alguno de los siguientes escenarios: que llueva en la mañana y en la tarde, que no llueva ni en la mañana ni en la tarde o que no llueva en la mañana pero si llueva en la tarde.

Una vez identificadas todas las probabilidades de transición en una etapa entre estados, éstas se pueden resumen en la matriz de probabilidades de transición (conocida también como matriz P). Notar que la suma de las probabilidades de cada una de las filas de la matriz es (y debe ser) un 100%.

matriz-de-transicion-p-cade

Alternativamente la información anterior se puede representar a través de un grafo donde cada nodo representa un estado y las flechas muestran si es posible pasar de un estado a otro al cabo de una etapa (y cuál es la probabilidad asociada en dicho caso):

grafo-cadenas-de-markov-par

Adicionalmente se puede identificar (si se cuenta con dicha información) la distribución inicial de estados que permite identificar cuál es la probabilidad que al inicio de la planificación el proceso se encuentre en alguno de los n estados posibles. En este ejemplo sabemos que se comienza con 2 paraguas en la casa:

distribucion-inicial-f0-cad

Con la información recabada en este problema estamos en condiciones de poder estimar cuál es la probabilidad que comenzando en un estado i pasemos a un estado j al cabo de n etapas (pasos). Este tipo de análisis y otros complementarios los abordaremos en un próximo artículo.

Actualización: Se recomienda consultar el artículo Cadenas de Markov (Ejercicios Resueltos) para encontrar material de estudio complementario al presentado en esta publicación.