Cómo la entropía de Shannon impone límites fundamentales a la comunicación

Cómo la entropía de Shannon impone límites fundamentales a la comunicación

Explorar

yoSi alguien te dice un hecho que ya sabes, esencialmente no te ha dicho nada en absoluto. Mientras que si imparten un secreto, es justo decir que algo realmente se ha comunicado.

Esta distinción está en el corazón de la teoría de la información de Claude Shannon. Introducido en un artículo de época de 1948, “Una teoría matemática de la comunicación”, proporciona un marco matemático riguroso para cuantificar la cantidad de información necesaria para enviar y recibir un mensaje con precisión, según lo determinado por el grado de incertidumbre sobre lo que podría estar diciendo el mensaje previsto.

Es decir, es hora de un ejemplo.

En un escenario, tengo una moneda engañosa: es cara en ambos lados. Voy a darle la vuelta dos veces. ¿Cuánta información se necesita para comunicar el resultado? Ninguno en absoluto, porque antes de recibir el mensaje, tienes la completa certeza de que ambos lanzamientos saldrán cara.

En el segundo escenario, hago mis dos lanzamientos con una moneda normal: cara de un lado, cruz del otro. Podemos comunicar el resultado usando código binario: 0 para cara, 1 para cruz. Hay cuatro mensajes posibles: 00, 11, 01, 10, y cada uno requiere dos bits de información.

¿Entonces cuál es el punto? En el primer escenario, tenía completa certeza sobre el contenido del mensaje y se necesitaron cero bits para transmitirlo. En el segundo, tenía una probabilidad de 1 en 4 de adivinar la respuesta correcta (25 por ciento de certeza) y el mensaje necesitaba dos bits de información para resolver esa ambigüedad. En términos más generales, cuanto menos sepa sobre lo que dirá el mensaje, más información se necesitará transmitir.

Shannon fue la primera persona en hacer esta relación matemáticamente precisa. Lo capturó en una fórmula que calcula la cantidad mínima de bits (un umbral que luego se denominó entropía de Shannon) necesarios para comunicar un mensaje. También mostró que si un remitente usa menos bits que el mínimo, el mensaje inevitablemente se distorsionará.

“Tenía esta gran intuición de que la información se maximiza cuando estás más sorprendido de aprender sobre algo”, dijo ves javidiun teórico de la información de la Universidad de California, San Diego.

El término “entropía” se toma prestado de la física, donde la entropía es una medida del desorden. Una nube tiene una entropía más alta que un cubo de hielo, ya que una nube permite muchas más formas de organizar las moléculas de agua que la estructura cristalina de un cubo. De manera análoga, un mensaje aleatorio tiene una entropía de Shannon alta (hay tantas posibilidades de cómo se puede organizar su información), mientras que uno que obedece a un patrón estricto tiene una entropía baja. También hay similitudes formales en la forma en que se calcula la entropía tanto en la física como en la teoría de la información. En física, la fórmula de la entropía implica tomar un logaritmo de los posibles estados físicos. En la teoría de la información, es el logaritmo de los posibles resultados de los eventos.

La fórmula logarítmica para la entropía de Shannon desmiente la simplicidad de lo que captura, porque otra forma de pensar en la entropía de Shannon es como el número de preguntas de sí o no necesarias, en promedio, para determinar el contenido de un mensaje.

Por ejemplo, imagina dos estaciones meteorológicas, una en San Diego y la otra en St. Louis. Cada uno quiere enviar el pronóstico de siete días para su ciudad al otro. San Diego casi siempre está soleado, lo que significa que tiene mucha confianza en lo que dirá el pronóstico. El clima en St. Louis es más incierto: la probabilidad de un día soleado es más cercana al 50-50.

Cómo la entropía de Shannon impone límites fundamentales a la comunicación
PADRE DE LA TEORÍA DE LA INFORMACIÓN: Claude Shannon en Bell Labs en 1954. Foto cortesía de Estate of Francis Bello/Science Source.

¿Cuántas preguntas de sí o no se necesitarían para transmitir cada pronóstico de siete días? Para San Diego, una primera pregunta rentable podría ser: ¿Son soleados los siete días del pronóstico? Si la respuesta es afirmativa (y hay una buena posibilidad de que lo sea), ha determinado el pronóstico completo en una sola pregunta. Pero con St. Louis, casi tiene que abrirse camino a través del pronóstico un día a la vez: ¿Es soleado el primer día? ¿Qué pasa con el segundo?

Cuanta más certeza haya sobre el contenido de un mensaje, menos preguntas de sí o no necesitará, en promedio, para determinarlo.

Para tomar otro ejemplo, considere dos versiones de un juego de letras. En la primera, he seleccionado una letra al azar del abecedario inglés y quiero que la adivinéis. Si utiliza la mejor estrategia de adivinanza posible, le llevará una media de 4,7 preguntas obtenerla. (Una primera pregunta útil sería: “¿Está la letra en la primera mitad del alfabeto?”)

En la segunda versión del juego, en lugar de adivinar el valor de letras aleatorias, intentas adivinar letras en palabras reales en inglés. Ahora puede adaptar sus adivinanzas para aprovechar el hecho de que algunas letras aparecen con más frecuencia que otras (“¿Es una vocal?”) y que conocer el valor de una letra le ayuda a adivinar el valor de la siguiente (q casi siempre es seguido de u). Shannon calculó que la entropía del idioma inglés es de 2,62 bits por letra (o 2,62 preguntas de sí o no), mucho menos que los 4,7 que necesitarías si cada letra apareciera al azar. Dicho de otra manera, los patrones reducen la incertidumbre, lo que hace posible comunicar mucho usando relativamente poca información.

Tenga en cuenta que en ejemplos como estos, puede hacer mejores o peores preguntas. La entropía de Shannon establece un piso inviolable: es el número mínimo absoluto de bits, o preguntas de sí o no, necesarias para transmitir un mensaje.

“Shannon demostró que existe algo así como la velocidad de la luz, un límite fundamental”, dijo Javidi. “Mostró que la entropía de Shannon es un límite fundamental de cuánto podemos comprimir una fuente, sin correr el riesgo de distorsión o pérdida”.

Hoy en día, la entropía de Shannon sirve como criterio en muchos entornos aplicados, incluida la tecnología de compresión de información. El hecho de que pueda comprimir un archivo de película grande, por ejemplo, se debe al hecho de que los colores de los píxeles tienen un patrón estadístico, como lo hacen las palabras en inglés. Los ingenieros pueden construir modelos probabilísticos para patrones de colores de píxeles de un cuadro al siguiente. Los modelos permiten calcular la entropía de Shannon asignando pesos a los patrones y luego tomando el logaritmo del peso para todas las formas posibles en que podrían aparecer los píxeles. Ese valor le indica el límite de compresión “sin pérdidas”: lo máximo que se puede comprimir la película antes de que comience a perder información sobre su contenido.

El rendimiento de cualquier algoritmo de compresión se puede comparar con este límite. Si está lejos de eso, tiene un incentivo para trabajar más duro para encontrar un algoritmo mejor. Pero si estás cerca de ello, sabes que las leyes de la información del universo te impiden hacerlo mucho mejor.

Imagen principal: para comunicar una serie de eventos aleatorios, como lanzamientos de monedas, debe usar mucha información, ya que el mensaje no tiene estructura. La entropía de Shannon mide esta restricción fundamental. Crédito: Kristina Armitage/Revista Quanta.

Este artículo fue publicado originalmente sobre el Abstracciones cuánticas Blog.