Algoritmy pro kompresi dat: entropická kódování

Komprese dat má za cíl zmenšit objem nebo datový tok dat. Bez komprese by např. běžná digitální fotografie měla desítky megabajtů. Je tedy velmi žádoucí taková multimediální data komprimovat. Jedním z nejdůležitějších pojmů z oblasti komprese dat je entropie, což je veličina udávající průměrné množství informace obsažené v jednom symbolu dat. Jednotkou této veličiny je bit. Entropii lze definovat také jako míru překvapení dekódující strany, jako informační obsah symbolu (datové zprávy) nebo jako průměrný minimální počet bitů nutný k zakódování jednoho symbolu dat. Značí se H a formálně ji lze definovat jako