✖Entropia jest miarą niepewności zmiennej losowej. W szczególności mierzy średnią ilość informacji zawartych w każdym możliwym wyniku zmiennej losowej.ⓘ Entropia [H[S]] | | | +10% -10% |
✖Symbole to podstawowe jednostki informacji, które można przesyłać lub przetwarzać. Te symbole mogą reprezentować dowolne odrębne jednostki, takie jak litery, cyfry lub inne abstrakcyjne koncepcje.ⓘ Symbolika [r] | | | +10% -10% |