O Limite de Shannon
O que é a informação? O que é o bit? Conheça uma das maiores descobertas do século XX que alavancou o processo de comunicação e permitiu o início da Era Digital.
Por Camila Machado de Araújo
Os sinais elétricos nos permitiram nos comunicar quase instantaneamente a distâncias antes inimagináveis. Desde o nascimento das telecomunicações, a velocidade e a quantidade de informação transmitida pelo o mundo aumentam incessantemente; mas o que é a informação e como a medimos? Essas e outras perguntas instigaram inúmeros pesquisadores no passado e suas respostas alavancaram a eficiência da comunicação no mundo.
Na Era Digital, na qual trocamos mais informações do que nunca antes na história, o que define qual é o limite da comunicação é a própria física. Um dos pilares dessa Era foi a descoberta matemática desse limite, cujo responsável foi o matemático e engenheiro eletricista Claude Elwood Shannon, pesquisador nos Laboratórios Bell.
Em 1948, no mesmo ano e local da criação do transistor, Shannon publicou o artigo “A Mathematical Theory of Communication” (Uma Teoria Matemática da Comunicação), o qual transformaria em ciência o problema de transmitir informações. Nas palavras do próprio Shannon, em tradução livre, “O problema fundamental da comunicação é reproduzir num determinado ponto, seja exata, seja aproximadamente, uma mensagem selecionada num outro ponto”[1].
Figura 1. Diagrama Esquemático de um Sistema de Comunicação. (editada pelo autor). [1]
Em um Sistema de Comunicação real, os sinais elétricos transmitidos sofrem a interferência do meio, chamada de ruído, que corrompe a mensagem original. Nem sempre o que foi emitido pela fonte de informação chega ao destino corretamente. Entretanto, a Teoria da Informação torna possível encontrar um ponto ótimo, no qual a escolha correta do código permitirá máxima eficiência na transmissão de mensagens confiáveis. Para tanto, alguns conceitos são imprescindíveis, são eles: o que é informação, entropia e qual a diferença entre um canal discreto e contínuo.
Para o problema de engenharia, o significado da mensagem não tem importância, mas sim que essa é escolhida dentre um conjunto finito de mensagens possíveis com igual probabilidade. Ao fazer essa escolha, certa quantidade de informação é gerada, proporcional ao número de elementos do conjunto.
Ao lançar uma moeda, há duas possibilidades de resultado, cara ou coroa, que representam a mensagem escolhida. No entanto, ao lançar um dado, os números 1,2,3,4,5 e 6 possuem a mesma probabilidade de ocorrência. O resultado do lançamento do dado contém mais informação do que o da moeda, pois o conjunto de possibilidades é maior. A informação está associada “ao que se ganha” conhecendo o resultado de um evento aleatório e chama-se de entropia a incerteza associada a uma variável aleatória.
O fenômeno de recebimento de uma mensagem também pode ser modelado como um evento aleatório. Caso o receptor recebesse uma letra do alfabeto, seria semelhante a um sorteio dentre as 26 opções. A escolha de duas letras representaria um conjunto de 26 x 26 possibilidades, ou seja, 26²; três letras representariam 26³. Observa-se que o total de mensagens possíveis cresce de forma exponencial, cuja base é o número de símbolos do código. Uma função desse número pode ser utilizada para representar a quantidade de informação enviada. Shannon optou pela função logarítmica por transformar a relação exponencial em uma relação linear, muito mais simples e intuitiva de ser trabalhada.
A escolha da base logarítmica representa a escolha da unidade de medida da informação. Utilizando a base 2, temos o código binário, que possui dois símbolos, 0 e 1. O número de dígitos binários (binary digits), ou seja, o número de bits, é a unidade de medida da informação utilizada nos sistemas digitais. Por exemplo, para representar todas as 26 letras do alfabeto com o código binário, associa-se cada uma delas a uma sequência de zeros e uns; seriam necessários, pelo menos, 5 bits, pois 25 = 32 possibilidades de sequências diferentes; 4 bits permitiriam representar apenas 24 = 16 letras. Note que o logaritmo de 32 na base 2 é 5 e o logaritmo de 16 na base 2 é 4.
Um Canal Discreto é um sistema de comunicação que opera com um conjunto finito de símbolos. Um exemplo é o telégrafo que operava com o código Morse, no qual as letras do alfabeto e algarismos indo-arábicos são representados por sequências de pontos e traços. Todos os sistemas digitais, que operam segundo dígitos binários, são discretos. Um Canal Contínuo é um sistema de comunicação que não utiliza símbolos, opera com qualquer valor de intensidade dentro de uma faixa pré-determinada. Desse modo, podem assumir infinitos valores dentro dos permitidos. Assim funcionam os transmissores analógicos, por meio de uma analogia entre diferentes escalas contínuas, a real e a representada. Como exemplo, temos o antigo disco de vinil.
Em um sistema contínuo, o ruído é muito difícil de ser identificado, pois quando o sinal com interferência estiver dentro da faixa permitida poderá ser confundido com um dos infinitos valores válidos. Já no sistema binário, que é discreto, há apenas dois níveis válidos. Mesmo com a interferência, o sinal recebido poderá ser interpretado de acordo com sua proximidade de um dos dois valores possíveis. Além disso, caso algum dígito seja erroneamente interpretado devido ao ruído, ele pode ser corrigido pelos algoritmos de detecção de erros.
Shannon define a capacidade de um canal como a máxima velocidade de transmissão de informação sem erros devido ao ruído, e prova matematicamente que este limite existe, conhecido como “O Limite de Shannon”. Baseado neste cálculo, é definido O Teorema Fundamental da Informação: “Dado um canal de capacidade C e uma fonte com ritmo de informação R, então se R ≤ C existe uma técnica de codificação tal que a saída da fonte pode ser transmitida através do canal com uma frequência arbitrariamente pequena de erros, apesar da presença de ruído. Se R > C, não é possível a transmissão sem erros”[4]. Sendo R a quantidade de informação produzida por uma fonte em um intervalo de tempo.*
O resultado do teorema é apenas de existência, embora indique que há um código ótimo para a transmissão de informações, não indica que código seria este. Nesse sentido, sempre que um novo processo de codificação é proposto para uma tarefa, costumeiramente se verifica o quão próximo ele está do limite de Shannon.
vA partir desse trabalho, a comunicação começou a ser tratada como um problema rigorosamente matemático com bases sólidas. A Teoria da Informação hoje envolve criptografia, transmissão e compressão de dados, codificação, ruído e correção de erros. Diversas áreas do conhecimento aplicam os resultados da publicação de 1948 e seus frutos, dentre elas a estatística, a matemática, a economia, a engenharia elétrica, a ciência da computação e, inclusive, a neurobiologia. Esse foi um dos trabalhos mais importantes do século passado e ajudou a moldar o mundo em que vivemos. Na Era Digital, a codificação e a transmissão de informações se tornam, cada vez mais, fundamentais nas atividades humanas.
Quer saber mais? Veja também:
Viajando na velocidade da Luz - Parte I
Viajando na velocidade da Luz - Parte II
Conversores AD - Levando o Mundo Real para o Computador
Referências:
[1] A Mathematical Theory of Communication.C. E. Shannon. THE BELL SYSTEM TECHNICAL JOURNAL. Julho, Outubro, 1948.
[2] A Entropia Segundo Claude Shannon: o Desenvolvimento do Conceito Fundamental da Teoria da Informação. J. O. C. Pineda. Pontifícia Universidade Católica. 2006.
[3] A Informação: uma História, uma Teoria, uma Enxurrada. J. GLEICK. Editora Companhia das Letras, 2013.
[4] Apontamentos de Teoria da Informação. S. A. ABRANTES. Universidade do Porto Faculdade de Engenharia, 2003.
[5] Fundamentos da Teoria da Informação. F. J. V. ZUBEN, R. R. F. ATTUX. Unicamp. Disponível em < ftp://ftp.dca.fee.unicamp.br/pub/docs/vonzuben/ia004_1s10/notas_de_aula/topico9_IA004_1s2010.pdf >. Acessado em 2 de outubro de 2017.
|
