Saltar para o conteúdo

Teorema de Sanov

Origem: Wikipédia, a enciclopédia livre.

Em teoria da informação, o teorema de Sanov dá um limite à probabilidade de observar uma sequência atípica de amostras a partir de uma dada distribuição de probabilidade.[1]

Considere um conjunto de distribuições de probabilidade sobre um alfabeto e considere uma distribuição arbitrária sobre , sendo que pode ou não estar em . Suponha que são retiradas amostras independentes e identicamente distribuídas a partir de , representadas pelo vetor . Além disto, deseja-se saber se a distribuição empírica, , das amostras cai no interior do conjunto — formalmente, escreve-se . Então,

em que

  • é uma abreviação para e
  • é a projeção de informação de sobre .

Em palavras, a probabilidade de retirar uma distribuição atípica é proporcional à divergência de Kullback–Leibler da distribuição verdadeira à distribuição atípica. No caso em que consideramos um conjunto de possíveis distribuições atípicas, há uma distribuição atípica dominante, dada pela projeção de informação.

Além disto, se for o fecho de seu interior,

[2]

  1. Sanov, I. N. «On the probability of large deviations of random variables». North Carolina State University. Consultado em 17 de janeiro de 2018 
  2. Cover, Thomas M.; Thomas, Joy A. (28 de novembro de 2012). Elements of Information Theory (em inglês). [S.l.]: John Wiley & Sons. ISBN 9781118585771 
Ícone de esboço Este artigo sobre matemática é um esboço. Você pode ajudar a Wikipédia expandindo-o.