2.2 Entropie, Modellierung und Codebäume

Entropie (Thermodynamik) =
Maß für Informationsgehalt einer Meldung, bezogen auf eine Wahrscheinlichkeitsverteilung =

z.B. 8 Zeichen gleichverteilt

P(x) = ${\frac{1}{8}}$ $\Rightarrow$ Entropie = 3 Bit pro Zeichen

z.B. 1 Zeichen mit P(x) = ${\frac{7}{8}}$ $\Rightarrow$ Entropie = 3 - $\log_{2}^{}$ 7 = 0.2

7 Zeichen mit je P(x) = ${\frac{1}{56}}$ $\Rightarrow$ Entropie = $\log_{2}^{}$ 56 = 5.8

Wahrscheinlichkeiten werden bei Modellen höherer Ordnung kontextbezogen definiert, z.B. in Abhängigkeit vom Vorgängersymbol.

$${\frac{1}{40}}$$ Im C-Source gilt

$${\frac{1}{2}}$$

Bei variable length encoding darf kein Code Anfangsstück eines anderen Codes sein (präfixfrei).

Gut durch Baum zu repräsentieren:

$$\cong$$ Symbol Blatt

$$\cong$$ Code Kantenbeschriftung auf dem Weg zum Symbol