Kodlash nazariyasi asoslari kodlash va ma'lumotlarni siqish usullarini o'rganadi. Turli kodlar va algoritmlar qo'llaniladi, Shanonnig entropiya tushunchasi xabarning kutilayotgan axborot miqdorini o'lchash uchun foydalaniladi