El concepto entropía se puede definir como el grado de desorden que tiene un sistema. En el campo de la teoría de la información, la entropía es el número que mide el grado de incertidumbre que tiene un mensaje. Para poder aclarar mejor esta definición pondré un ejemplo.
Situémonos en el caso que estamos esperando un número de 15 dígitos. Si el número seria 01234567.... resulta más fácil predecir que dígito es el que continúa, es decir, la entropía seria mínima.
Si en cambio el número que recibimos seria 8637925... resultaría mas difícil poder saber que dígito continúa, ya que no hay una relación constante ni clara entre los dígitos, en consecuencia se podría afirmar que la información nos llega con la máxima entropía.
No hay comentarios:
Publicar un comentario