Mostrando entradas con la etiqueta Shannon. Mostrar todas las entradas
Mostrando entradas con la etiqueta Shannon. Mostrar todas las entradas

jueves, 9 de julio de 2020

La información




















Escrito por James Gleick y publicado por Editorial Crítica en 2012 (el original es del 2012).

Al autor esta vez sí que lo conocía, aunque desde hacía poco, ya que aparece recomendado un libro suyo: "Caos: la creación de una ciencia", en una entrada reciente del blog: ésta. El libro que recomendaban también lo tengo, pero aún está pendiente de leer, que me compré dos al tiempo y éste me llamaba más la atención.

Obviamente, está muy bien escrito y bastante bien hilado. No entra demasiado en detalles técnicos, pero tampoco los esquiva, como podría pensarse de alguien, en principio, no demasiado versado en cuestiones científicas de cierta dificultad (o aparentemente no versado por los estudios que tiene, pero nunca se sabe).

Tal y como indica el título del libro, nos narra la historia y la evolución del concepto de información a lo largo del tiempo, desde los tambores de ciertas tribus en África, hasta las teorías más actuales a la vista de lo que está ocurriendo con la "información" en internet.

Por supuesto, en un libro que hable de información desde un punto de vista científico, la teoría de la información de Claude Shannon juega un papel central ("la teoría de Shannon tendió un puente entre información e incerteza: entre información y entropía; entre información y caos"). Comenta también lo que se entiende por límite de Shannon. Detalla un comentario de John Robinson Pierce (el ingeniero de Bell Labs que se había inventado el término "transistor"): "cuesta imaginar el mundo antes de Shannon como lo veían los que vivían en él. Resulta difícil recuperar la inocencia. la ignorancia y el desconocimiento". Da multitud de definiciones de lo que se entendía por información: "la información es incertidumbre, sorpresa, dificultad y entropía". Por cierto, que de entriopía se habla bastante y hay una frase muy buena: "La entropía se convierte así en un equivalente físico de la probabilidad: la entropía de un macroestado determinado es el logaritmo del número de sus microestados posibles".

Pero habla de muchas otras curiosidades por el camino, como la "máquina analítica" de Charles Babagge (y su coincidencia con Ada Byron, condesa de Lovelace), el cumplido que le hizo Bertrand Rusell a George Boole: "La matemática pura fue descubierta por Boole en una obra que tituló las Leyes del pensamiento)". Un comentario de Thomas C. Fry: "El matemático tiende además a idealizar cualquier situación a la que se enfrenta. Sus gases son "ideales", sus conductores "perfectos", sus superficies "lisas". A eso le llama "ceñirse a lo esencial". Es probable que el ingeniero diga que es "ignorar los hechos"".

Comenta la demostración de Gödel de que un sistema formal coherente tenía que ser incompleto (y llega hasta indicar que un número no computable es, efectivamente, una proposición indecidible (Turing)). Menciona, hablando de Kolmogórov, su libro "Fundamentos de la teoría de la probabilidad" (un clásico de las matemáticas modernas), así como su definición de complejidad: "la complejidad de un objeto es el tamaño del programa de computadora más pequeño que se necesita para generarlo". También, como curiosidades, menciona muchos tipos de números (la mayoría desconocidos por mi), como los números de Leyland, los de Carmichael, los de Zeisel, ...

Y también habla de la información desde un punto de vista biológico y, como no podía ser de otra forma, menciona el libro de Schrödinger: "¿qué es la vida?" (que por cierto a ver si me lo devuelven y lo comento en el blog), y de muchos otros biólogos y químicos, como Watson y Crick. Y de otro tipo de evolución iniciada por Dawkins y sus "memes" (o replicadores incorpóreos). Hablando de memes, pone un comentario de H.L.Mencken: "Morir por una idea es indudablemente algo muy noble, ¿pero cuán más noble sería que los hombres murieran por ideas que fueran verdad".

Por resumir, un libro de 434 páginas, que se leen de forma muy tranquila, pero que dan, valga la redundancia, mucha información, por lo que merece la pena leerlo con calma.

Esta vez, para variar, voy a copiar dos trocitos que no tienen nada que ver entre ellos, pero hay uno que me ha gustado especialmente:

"Por fin Carrington aprendió a tocar el tam-tam. Tocaba principalmente en kele, una lengua de la familia del bantú hablada en el oeste de lo que actualmente es el Zaire. "En realidad no es un europeo, a pesar del color de su piel", dijo hablando de Carrington un habitante del poblado de Lokele. "Era uno de nuestro poblado, era uno de nosotros. Cuando murió, los espíritus se equivocaron y lo enviaron lejos de aquí, a un poblado de blancos, para que entrara en el cuerpo de un niño que había nacido de una mujer blanca, en vez de nacer de una de nuestras mujeres. Pero como nos pertenecía a nosotros, no podía olvidar de dónde era y volvió". Y el nativo añadía generosamente: "si va un poquillo atrasado con los tambores es debido a la poca educación que le dieron los blancos".

"Como decía Chaitín. "Dios no solo juega a los dados en la mecánica cuántica y en la dinámica no lineal, sino incluso en la teoría elemental de los números".
He aquí algunas de sus enseñanzas:
  • La mayoría de los números son aleatorios. Sin embargo, son muy pocos los que puede demostrarse que son aleatorios.
  • Un flujo caótico de información puede ocultar, sin embargo, un algoritmo sencillo. Trabajar en sentido inverso yendo del caos al algoritmo puede ser imposible.
  • La complejidad de Kolmogórov-Chaitin es a las matemáticas, lo que la entropía a la termodinámica: el antídoto contra la perfección. Del mismo modo no podemos tener máquinas de movimiento perpetuo, no puede haber sistemas axiomáticos formales completos.
  • Algunas realidades matemáticas son verdaderas sin motivo alguno. Son accidentales, carecen de causa o de significado profundo."

Clasificación:
Facilidad de lectura: 1-2
Opinión: 4-4.5.

viernes, 8 de junio de 2018

La entropía desvelada




















Escrito por Ariel Ben-Naim y publicado por Editores TusQuets dentro de la colección Metatemas, dirigida por Jorge Wagensberg (del que comenté un libro: éste). La primera edición es del 2011, pero la que yo he leído es una segunda revisada del 2017.

Como ya viene siendo costumbre, vuelvo a reconocer que no conocía al autor, pero viendo que es doctor en química física por la Universidad Hebrea de Jerusalem donde enseña termodinámica y mecánica estadística desde 1974, no hace falta mucho más para darle una oportunidad (a ver si no quién va a tener más claro el concepto de entropía que alguien que enseña termodinámica y mecánica estadística).

Con el título del libro no creo que haga falta decir que de lo que habla es de la segunda ley de la termodinámica y de la entropía, y que intenta quitarle todo ese aura de misticismo y misterio que la rodea y explicarla de la forma lo más sencilla posible. Como el mismo dice al principio del libro: "He escrito este libro pensando en lectores que no saben nada de ciencia ni matemáticas. El único prerrequisito para leer este libro es el mero sentido común, y la voluntad de aplicarlo. Una advertencia antes de seguir leyendo: "sentido común" no significa fácil o elemental." Y la advertencia está bien hecha, porque hay alguna parte del libro un poco complicada, pero de media se puede decir que no se necesita nada más que un poco de sentido común y prestar atención a los juegos de dados con los que nos va introduciendo en la segunda ley de la termodinámica y la entropía. Para eso primero nos comenta un poco lo que se entiende en matemáticas por probabilidad (que hay mucha gente que con esto se lía un poco y la probabilidad a ojo suele ser muy engañosa) y el enfoque axiomático de Kolmogorov (y los tres conceptos básicos en los que se sustenta: el espacio muestral, la colección de sucesos y la probabilidad de cada suceso). Usando juegos de dados (y las configuraciones específicas e inespecíficas) como línea argumental, nos lleva hasta la teoría de la información de Shannon (sobre el tema de la entropía y la información ya comenté algo en otros libros: éste y éste), aparece la famosa ecuación de Shannon e introduce el concepto de "cantidad de información perdida" (CIP). También deja muy claro lo que en probabilidad se entiende por "siempre" y "nunca".

Por el camino, para que las cosas se vayan entendiendo, todo está basado en ejemplos con dados, gases y moléculas y está explicado de forma que no terminemos como decía Atkins: "... y una infinitamente incomprensible entropía" o como decía Morowitz: "el empleo de la termodinámica en biología tiene una larga historia de confusión". Explica muy bien el concepto de entropía (incluso por qué se llama así), y termina indicando que la entropía no debería venir expresada en las unidades en las que está expresada (que es una reminiscencia de la era preatomista de la termodinámica) y que, como dijo G.N. Lewis (1930): "una ganancia de entropía siempre significa una pérdida de información, y nada más". Ojo, que ésta no es la definición que hace el autor de la entropía (pero es una aproximación a la idea bastante simple y clara)

En fin, que son 245 páginas en las que cumple de sobra con las cuatro promesas que hace en la página 27 (a lo mejor esas cuatro promesas son un guiño a las famosas cuatro leyes de la termodinámica) de las cuales las dos primeras son: "A los lectores que tengan alguna noción de la entropía y les haya parecido misteriosa, les prometo desmitificarla. A los que nunca hayan oído hablar de la entropía, les prometo inmunidad ante cualquier mistificación futura del concepto".

Como siempre copio un trocito:
"Ahora bien, ¿está la segunda ley realmente asociada a esta flecha del tiempo?
La respuesta clásica esta pregunta es que si vemos una película al revés, enseguida nos daremos cuenta de que la acción está yendo hacia atrás, aunque no nos lo digan. Por ejemplo, si vemos que un huevo reventado en el suelo de pronto se recompone espontáneamente, y salta para aterrizar intacto sobre la mesa, sonreiremos e invariablemente reconoceremos que la película está discurriendo al revés. ¿Por qué? Porque sabemos que un proceso de esta clase no puede retroceder en el tiempo.
Pero ¿y si un día nos sentamos en la cocina, vemos un huevo reventado en el suelo, y de pronto el huevo revierte a su estado entero y luego salta hasta lograr situarse encima de la mesa?
Por fantástico que pueda parecer, nuestra asociación del proceso de rotura del huevo con la flecha del tiempo es tan fuerte que no creeríamos lo que viesen nuestros ojos, y probablemente miraríamos a nuestro alrededor para ver si alguien nos está engañando con algún truco. O, si entendemos la segunda ley, podríamos convencernos de que hemos tenido la inmensa fortuna de observar un proceso real, en el sentido del tiempo correcto, que es extremadamente raro pero no imposible".

Clasificación:
Facilidad de lectura: 1-2
Opinión: 4 (cumple totalmente con las promesas iniciales)

sábado, 23 de mayo de 2015

17 ecuaciones que cambiaron el mundo




















Escrito por Ian Stewart y publicado por Editorial Crítica en 2013.

El escritor es un catedrático de matemáticas en la Universidad de Warwick y un gran divulgador científico. Yo mismo tengo un par de libros suyos en casa pendientes de leerme, entre otros: De aquí al infinito y El laberinto mágico.

El libro, como muy bien indica el título, dedica cada uno de sus 17 capítulos a una ecuación que ha supuesto un cambio en la vida de las personas (aunque en muchas ocasiones ni siquiera nos demos cuenta). Como resumen, lo mejor que puedo hacer es, primero, enumerar los temas (ecuaciones) de los que habla: teorema de Pitágoras, logaritmos, derivadas, Ley de gravitación universal, i (en este capítulo vuelve a aparecer la ecuación de Euler (famosa), que es la ecuación más bonita de todas las matemáticas, al menos en mi opinión, como ya dije al comentar otro libro), Fórmula de Euler para poliedros, distribución normal, ecuación de onda, transformada de Fourier, ecuación Navier-Stokes, ecuaciones de Maxwell, segunda ley de la termodinámica, relatividad, ecuación de Schrödinger, teoría de la información, teoría del caos y ecuación de Black-Scholes.

En la primera hoja de cada capítulo escribe la ecuación de la que va a tratar, indica lo que significa cada símbolo en ella y además comenta los usos principales que hacemos hoy en día de esa ecuación. La verdad es que el desarrollo de los capítulos está muy bien trazado y obliga a pensar en muchos temas distintos. Por ejemplo, a mi nunca se me había ocurrido trazar una historia desde el teorema de Pitágoras hasta la geometría diferencial actual (y las diferentes métricas asociadas). Alguno de los capítulos tengo que reconocer que tienen cierta dificultad conceptual, pero es que es normal que tratando las ecuaciones que trata el asunto se complique en algunos momentos (en la facultad estuve cuatro meses estudiando la resolución de la ecuación de Schrödinger en espacios de Sobolev y aquí la explican en un capitulo de 21 páginas). No puedo resistirme a ponerla (de hecho la llevo escrita en mis aletas de buceo):
Resultado de imagen de ecuacion de schrodinger
Bien, esa es la famosa ecuación de Schrödinger (fundamental en la mecánica cuántica) y en el capítulo 14 la explica bastante bien.

A pesar de eso, la verdad es que merece la pena echarle un vistazo, son 394 páginas (más unas notas finales) que pueden hacerse un poco densas si las leemos todas seguidas, pero como cada capítulo es independiente, se puede leer de semana en semana resultando una lectura bastante agradable (de esas que reactivan el cerebro un poco). Se habla de prácticamente todos los temas físicos (gravedad, relatividad, mecánica cuántica, caos, ...) y matemáticos (álgebra, cálculo, geometría, ...). Dedica un capítulo entero a la teoría de la información de Shannon, que viene muy bien para entender los conceptos de entropía y de información (tan de moda ahora con las nuevas teorías sobre la pérdida o no de información en los agujeros negros). Incluso en el último capítulo, habla de los derivados financieros y el posible origen de la última crisis económica.

Como siempre, copio un trocito:
"Algunas ecuaciones son universalmente válidas. Algunas describen el mundo muy exactamente, pero no perfectamente. Algunas son menos precisas, confinadas a reinos más limitados, aunque ofrecen un entendimiento vital. Algunas son básicamente erróneas sin más, aunque pueden actuar como peldaños hacia algo mejor. Todavía podrían tener un efecto enorme.
Algunas incluso desvelan cuestiones difíciles, de naturaleza filosófica, sobre el mundo en que vivimos y nuestro lugar en él. El problema de las mediciones cuánticas, escenificadas por el desafortunado gato de Schrödinger, es una de ellas. La segunda ley de la termodinámica presenta temas profundos sobre el desorden y la flecha del tiempo. En ambos casos, algunas de las paradojas aparentes pueden ser resueltas, en parte, pensando menos en el contenido de la ecuación y más en el contexto en el que se aplica. No en los símbolos, sino en las condiciones de contorno. La flecha del tiempo no es un problema sobre la entropía; es un problema sobre el contexto en el cual pensamos en la entropía."

Clasificación:
Facilidad de lectura: 2-3 (las ecuaciones no suelen facilitar la lectura)
Opinión: 4 (merece la pena leerlo).

sábado, 8 de septiembre de 2012

Matemáticos, espías y piratas informáticos














Escrito por Joan Gómez y publicado por RBA en 2011, dentro de la colección el mundo es matemático.
Joan Gómez es profesor del departamento de matemática aplicada en la UPC, con lo cual está claro que sabe de lo que habla … cuando habla de criptografía al menos, si habla de otros temas no puedo decir nada.
Es un libro escrito de forma que todo el mundo pueda entenderlo, sin tener muchos conocimientos matemáticos. Los desarrollos complicados los deja para un anexo final, con lo cual si se quieren leer, bien, y sino, no pasa nada, la lectura no se ve alterada.
Parte de las primeras comunicaciones cifradas llevadas a cabo por los babilonios, los griegos y los romanos. Desde la esteganografía (por resumir, el arte de esconder el mensaje de forma que no sea encontrado mas que por la persona que estamos interesados que lo encuentre) al moderno RSA y los qbits. Desarrolla la historia como una lucha entre los criptógrafos (los que cifran un mensaje) y los criptoanalistas (los que intentan descifrarlos), y se va viendo, de forma natural, como el desarrollo de las modernas máquinas de calcular y finalmente los ordenadores, iban dejando obsoletos métodos de cifrado que parecían inatacables por los criptoanalistas, y como se van desarrollando métodos cada vez más complejos hasta llegar al moderno RSA, que es el método de cifrado más conocido en la actualidad. Durante los cursos de doctorado en inteligencia artificial pude ver con detalle, cómo ese método de cifrado (el RSA) podía ser atacado mediante el uso de computación con ADN (de momento el asunto era teórico, pero ese método de cifrado era sensible ante un ataque realizado mediante computación no convencional basada en ADN). Al final del libro habla de la computación utilizando qbits, y cómo esa tecnología daría al traste con el algoritmo de cifrado RSA. Por supuesto también habla de nuevos métodos de cifrado que podrían desarrollarse para no quedarnos sin seguridad en las comunicaciones por cumpla del desarrollo de nuevas tecnologías. Por en medio aparecen nombres muy conocidos, como Julio César, Euclides, la máquina enigma, Alan Turing, Shannon, Fermat, Zimmermann, …
Por resumir, un libro de 125 páginas que se leen como una historia muy entretenida, con un anexo de 10 páginas donde entra un poco mas en detalles matemáticos (bastante bien explicados).
Copio un trocito:
“Con independencia de quién fue el primero en lograrlo, la evidencia es que el cifrado polialfabético había dejado de ser impenetrable. A partir de ese momento, la fortaleza de una cifra iba a depender no tanto de grandes innovaciones en los algoritmos de encriptación, sino en el número de alfabetos cifrados posibles, el cual tenía que ser tan grande como para hacer totalmente impracticable el análisis de frecuencia y sus variantes. Al otro lado del flujo de información, el objetivo era hacerse con mecanismos que premitieran agilizar el criptoanálisis. Ambas búsquedas convergían hacia un mismo punto y dieron a luz a un mismo proceso: la mecanización.”
Clasificación:
Facilidad de lectura: 1
Opinión: 4 (muy instructivo).