CADENAS DE MARKOV

De manera formal las cadenas de Markov se definen como:

Otra explicación es:

Para poder definir las cadenas de Markov primero debe definirse lo que es un Proceso de Markov:

PROCESO DE MARKOV

Un proceso de Markov es aquel en que la probabilidad de ocurrencia de un estado futuro depende del estado inmediatamente anterior.

Las cadenas de Markov representan o modelan el comportamiento de estos sistemas, de forma que se puede conocer la probabilidad de cambiar de un estado a otro.

Principios de las cadenas de Markov

1. La matriz de transición debe ser cuadrada.

2. Las probabilidades de los estados entre 0 y 1.

3. Las suma de las probabilidades de los estados es igual a 1.

Las cadenas de Markov, como se definió anteriormente se representan en matrices, y de acuerdo al tipo de arreglo que tenga la matriz estas se pueden clasificar en:

1. Matriz regular

Es una un arreglo donde los elementos de una matriz son diferentes de 0 y 1.

2. Matriz Absorbentes

Es un arreglo donde un estado de la cadena de Markov es igual a 1.

3. Matriz Ergodica

Si los estados en una cadena son recurrentes, aperiodicos y se comunican entre si, se dice que la cadena es ergódica.

Ejemplos de Matriz Ergodica

Una características de las cadenas es que se pueden representar por medio de un diagrama de grafos.

El siguiente ejemplo ilustra lo anterior:

Ejemplo 2:

1. Una computadora se inspecciona cada hora. Se encuentra que está trabajando o descompuesta. Si está trabajando la probabilidad de que siga trabajando la siguiente hora es 0.9 Si está descompuesta, se toman las medidas para repararla lo que puede llevar más de una hora. Siempre que la computadora esté descompuesta, Independientemente de cuanto tiempo haya pasado, la probabilidad de que siga descompuesta la siguiente hora es 0.35.

A. Modele el sistema como una cadena de Markov.

Solución:

Debemos definir los estados

Eo = La maquina está trabajando

E1 = La maquina está descompuesta

	Eo	E1
Eo	0.9	0.1
E1	0.65	0.35

B. Hoy está trabajando, ¿Cuál es la probabilidad de que en 4 hrs sigatrabajando

Solución:

Buscamos T⁴ = P(4)

T⁴ =

	Eo	E1
Eo	0.85	0.15
E1	0.84	0.16

Ejemplo 3:

2. Un fabricante de grabadoras está tan seguro de su calidad que está ofreciendo garantía de reposición total si el aparato falla en dos años. Basándose en datos compilados la compañía ha notado que solo el 1 % de las grabadoras falla durante el primer año y 5 % durante el segundo. La garantía no cubre grabadoras ya reemplazadas.

A. Modele el sistema como una cadena de Markov.

Solución:

Debemos definir los estados

Eo = Está funcionando en su primer año.

E1 = Está funcionando en su segundo año.

E2 = Se reemplaza por garantía.

E3 = Finaliza la garantía.

	Eo	E1	E2	E3
Eo	0	0.99	0.01	0
E1	0	0	0.05	0.95
E2	0	0	1	0
E3	0	0	0	1

Ejemplo con videos: