Kodlash nazariyasi asoslari axborot va signallarni samarali uzatish va saqlash uchun matematik usullarni o'rganadi. Uning muhim tamoyillaridan biri axborot miqdorini aniqlashdir, bu esa bitlar bilan o'lchanadi. Shennon entropiyasi ma'lumotning o'rtacha miqdorini belgilaydi.