Entropiya - axborot nazariyasida muhim tushuncha. Claude Shannon tomonidan kiritilgan, o‘lchov birligi sifatida bitlar asosida entropiyani keng joriy etadi. Diskret xabar manbasi diskret signal yoki xabarlar to‘plamini yetkazadi