Segundo teorema de Shannon
En teoría de la información, el segundo teorema de Shannon denominado también de «teorema de codificación de canal», o simplemente teorema de Shannon, es un teorema, matemático enunciado por Claude Shannon , que muestra que es posible transmitir datos discretos (información digital) casi sin errores sobre un mismo canal ruidoso, a un régimen máximo computable. Se le conoce simplemente como «teorema de Shannon» (a pesar de que es el segundo) puesto que este teorema conjuntamente con la obra de Claude Shannon sobre la teoría de la información, tuvieron una importancia fundamental en la teoría de la información, ofreciendo anchas aplicaciones en los dominios de las telecomunicaciones y del almacenamiento de información.
El límite de Shannon o la capacidad de Shannon de un canal de comunicaciones es la velocidad teórica máxima de transferencia de información del canal, para un nivel de ruido determinado, que es el máximo fijado en la cantidad de símbolos por segundo que pueden ser transferidos a través de esta conexión con ruido. Este enunciado publicado por Claude Shannon el 1948 se basó sobre trabajos anteriores de Harry Nyquist y Ralph Hartley. La primera prueba rigurosa fue establecida por Amiel Feinstein el 1954.
Una de las principales ventajas de la tecnología digital es que permite el intercambio de datos sin pérdida de información. Aun así, estos datos transitan la mayoría del tiempo sobre canales no fiables, sufriendo varias interferencias y por lo tanto se mezclan con el ruido. Entonces, ¿cómo se pueden eliminar los errores de transmisión? La solución consiste en introducir cierta redundancia en los mensajes emitidos por la fuente con el fin de que el receptor pueda corregir los errores, de tal forma que el mensaje sea compuesto por símbolos, en donde es la cantidad de símbolos que aportan información sobre el mensaje original (aquel que el emisor transmitió), y es la cantidad de símbolos de redundancia, mismos que le servirán al receptor para corregir los errores que el canal ruidoso haya introducido en el mensaje, cabe recordar que estos símbolos de redundancia también están sujetos a deformaciones debido al ruido del canal. A este tipo de código se le llama código corrector.
El Segundo Teorema de Shannon demuestra la existencia de un código corrector cuyo cumple lo dicho anteriormente, con una probabilidad de interpretar un mensaje de forma errada muy pequeña, y con una velocidad de transmisión que se aproxima a la capacidad del canal.
El tiempo necesario para enviar un símbolo por la línea r, el símbolos llamado. Dentro de la símbolos la señal sigue siendo el mismo.
Con dos símbolos definidos (Nsymbols = 2), por lo tanto, Nsymbols transportados, en 8-PSK tres bits y en QAM-64, seis bits.
La unidad para medir el número de símbolos por segundo es el baudio.
Teorema (Shannon, 1948):
(MacKay (2003), p. 162; de Gallager (1968), ch.5; Cover and Thomas (1991), p. 198; Shannon (1948) thm. 11)