Axborot nazariyasi signal va xabarlarning statistik xususiyatlarini o'rganadi. Shannon entropiyasi H(X)=−Σ p(x) log_2 p(x) bo'lib, birlik: bit. Entropiya o'rtacha minimal kod uzunligini belgilaydi. Redundans R = 1 − H/H_max; o'zaro axborot I(X;Y)=H(X)−H(X|Y)