Symbole und Information

Was ist im Sinn der Informationstheorie ein Symbol?

• Ein kleines Bild, etwa ein Icon auf dem Bildschirm.
• Ein Schriftzeichen wie ein Buchstabe oder eine Ziffer, also etwas, das man aufschreiben kann.
• Ein vereinbarter, unterscheidbarer Zustand.
• Ein einzelner Messwert eines Sensors, etwa eine bestimmte Helligkeit.

Zwei Teams übertragen Daten mit farbigem Licht, und ihre LED zeigt vier vereinbarte Farben. Was ist das Alphabet ihrer Strecke?

• Die 26 Buchstaben von A bis Z, die über die Strecke gehen sollen.
• Die Menge der vier Farben, die beide Teams als Symbole vereinbart haben.
• Die Reihenfolge, in der die Farben einer Nachricht gesendet werden.
• Die Zuordnung der Farben zu Bitfolgen, etwa dass Grün für 01 steht.

Eine Strecke überträgt Buchstaben als farbige Lichtblitze. Wer legt fest, dass ein grünes Aufleuchten „A“ bedeutet?

• Die Physik des Lichts: Jede Farbe hat eine feste Wellenlänge, und an der erkennt der Empfänger, welches Zeichen gemeint ist.
• Sender und Empfänger gemeinsam, durch eine Vereinbarung vor der Übertragung.
• Eine Norm für Lichtübertragung, an die sich alle Geräte halten, damit sie sich untereinander verstehen.
• Der Empfänger allein, denn er ist die Seite, die aus Messwerten Zeichen machen muss.

Was ist ein Bit?

• Ein winziges Bauteil im Computer, das Strom entweder durchlässt oder sperrt.
• Die Speichermenge, die ein Computer für ein einzelnes Zeichen wie „A“ braucht.
• Die Informationsmenge einer Entscheidung zwischen zwei gleich wahrscheinlichen Möglichkeiten.
• Die kleinste Helligkeit, die ein Sensor noch messen kann.

Ein Alphabet hat vier Farben, alle gleich wahrscheinlich. Wie viel Information trägt ein einzelnes empfangenes Symbol, und warum?

• 4 Bit, denn jede der vier Farben ist eine eigene Möglichkeit, und jede Möglichkeit zählt ein Bit.
• 2 Bit, denn zwei Ja-Nein-Entscheidungen genügen, um eine von vier Farben sicher zu bestimmen.
• 1 Bit, denn der Empfänger trifft je Symbol eine Entscheidung: Es ist angekommen oder nicht.
• Das hängt von der gesendeten Farbe ab, denn eine gut erkennbare Farbe wie Rot trägt mehr als eine schwer erkennbare wie Gelb.

Eine Strecke wechselt von 2 auf 8 Farben und sendet weiterhin gleich viele Symbole je Sekunde. Wie ändert sich die Übertragungsdauer derselben Datei?

• Sie sinkt auf ein Viertel, denn 8 geteilt durch 2 ist 4.
• Sie sinkt auf ein Drittel: Jedes Symbol trägt jetzt 3 Bit statt 1.
• Sie bleibt gleich, denn die Symbolrate hat sich nicht geändert.
• Sie sinkt auf ein Achtel, ein Achtel je Farbe.

Mehr Symbole je Alphabet heißt mehr Bit je Symbol. Warum macht man das Alphabet dann nicht einfach riesig, etwa 256 Farben?

• Weil eine Lampe aus ihren drei Kanälen nur eine begrenzte Zahl verschiedener Farben mischen kann.
• Weil der Empfänger für 256 Farben eine Zuordnungstabelle bräuchte, deren Durchsuchen je Symbol zu lange dauert.
• Weil der Empfänger die Symbole noch sicher auseinanderhalten muss: Je mehr es sind, desto enger rücken ihre Messbereiche zusammen.
• Weil ein Alphabet nur so viele Symbole braucht, wie der Text verschiedene Zeichen hat; weitere Farben blieben ungenutzt.

Ein Empfänger erkennt jede Farbe fehlerfrei, die Trefferquote der Erkennung liegt bei 100 Prozent. Trotzdem kommt als Text nur Unsinn heraus. Was ist die wahrscheinlichste Ursache?

• Der Sensor liefert verfälschte Werte, etwa weil die Verstärkung zu hoch eingestellt ist.
• Sender und Empfänger benutzen unterschiedliche Zuordnungen von Farben zu Zeichen.
• Das Umgebungslicht verschiebt die Messwerte, sodass der Empfänger die Farben zwar sieht, aber in die falschen Bereiche einsortiert.
• Das Alphabet hat weniger Farben als der Text verschiedene Zeichen, deshalb landen mehrere Zeichen auf derselben Farbe.

Ein Alphabet hat 16 Symbole. Wie viele Ja-Nein-Fragen braucht man höchstens, um ein empfangenes Symbol sicher zu bestimmen?

• 4, denn viermal halbieren führt von 16 Möglichkeiten auf eine.
• 8, denn jede Frage halbiert, und die Hälfte von 16 Möglichkeiten sind 8.
• 15, denn im schlechtesten Fall muss man 15 Symbole einzeln ausschließen.
• 2, denn jede Frage hat zwei Antworten, und zweimal zwei Antworten decken 16 ab.

Welche Aussagen über Bits treffen zu?

• Ein Bit unterscheidet genau zwei Möglichkeiten.
• Ein Bit und ein Byte bezeichnen dieselbe Menge, nur in verschiedenen Zusammenhängen.
• Jede Information lässt sich als Folge von Bits darstellen.
• Bits gibt es nur in Computern, denn nur dort werden Zustände elektrisch gespeichert.
• Eine Nachricht enthält mehr Bits, wenn ihr Inhalt wichtiger ist.

Ein Alphabet hat vier Farben, jedes Symbol trägt also 2 Bit. Übertragen werden soll eine Kennung mit 12 Bit. Wie viele Symbole braucht das mindestens?

• 12, ein Symbol je Bit.
• 6, denn 12 Bit geteilt durch 2 Bit je Symbol.
• 3, denn 12 geteilt durch 4 Farben.
• 24, zur Sicherheit jedes Bit doppelt.

Warum genügt im Prinzip ein Alphabet aus nur zwei Symbolen für jede noch so komplizierte Nachricht?

• Es genügt nicht: Für Texte braucht man mindestens 26 Symbole.
• Weil zwei Symbole im Signal am weitesten auseinanderliegen und der Empfänger sie deshalb nie verwechselt.
• Weil sich jedes Symbol eines größeren Alphabets durch eine feste Gruppe von Zweiersymbolen ersetzen lässt; es kostet nur Länge.
• Weil Computer intern ohnehin mit zwei Zuständen arbeiten und jede Nachricht schon vor dem Senden in dieser Form vorliegt.

Was legt dieses Wörterbuch im Sinn von Symbolen und Information fest?

ALPHABET = {
    "red":    "00",
    "green":  "01",
    "blue":   "10",
    "yellow": "11",
}

• Die vier Farben, die eine Lampe erzeugen kann, jeweils mit dem Code, den der Hersteller dafür vorgesehen hat.
• Die Vereinbarung: welches Symbol welche Bitgruppe trägt. Der Empfänger braucht exakt dieselbe Zuordnung, nur in Gegenrichtung.
• Die Reihenfolge, in der die Farben gesendet werden: erst Rot, dann Grün, dann Blau, dann Gelb.
• Wie viele Symbole je Sekunde gesendet werden, denn zwei Bit je Symbol legen das Tempo der Übertragung fest.

Sechzehn Gesichter, eines ist gesucht. Frage A lautet „Trägt es eine Brille?“, und acht der sechzehn tragen eine. Frage B lautet „Ist es Gesicht Nummer 7?“. Welche Frage bringt im Durchschnitt mehr?

• Frage A: Sie bringt garantiert 1 Bit, Frage B im Durchschnitt nur etwa ein Drittel davon.
• Frage B: Ein „Ja“ löst das Rätsel sofort vollständig auf, das kann Frage A nie.
• Beide gleich viel: Es sind beides Ja-Nein-Fragen, und eine Ja-Nein-Antwort ist ein Bit.
• Das hängt vom Glück ab und lässt sich vorher nicht sagen.

Im Morsecode ist der häufigste Buchstabe, das „e“, auch der kürzeste: ein einzelner Punkt. Seltene Buchstaben wie das „q“ sind lang. Warum lohnt sich diese Ungleichbehandlung?

• Weil kurze Codes weniger fehleranfällig sind und der häufigste Buchstabe deshalb am besten geschützt sein sollte.
• Weil das „e“ der wichtigste Buchstabe ist und wichtige Zeichen zuerst ankommen sollen.
• Weil die durchschnittliche Nachricht dadurch kürzer wird: Was oft vorkommt, kostet dann wenig.
• Weil ein Alphabet mit unterschiedlich langen Codes mehr Zeichen aufnehmen kann als eines mit gleich langen.

Eine Strecke schafft zuverlässig nur zwei Symbole, hell und dunkel. Sie soll trotzdem ein Alphabet aus 32 Zeichen übertragen, indem sie mehrere Blitze zu einer Gruppe zusammenfasst. Wie viele Blitze braucht eine Gruppe mindestens?

• 16, also die Hälfte der Zeichenzahl.
• 5, denn zwei hoch fünf sind 32.
• 32, denn für jedes Zeichen wird ein Blitz gebraucht.
• 6, weil eine zusätzliche Stelle für die Abgrenzung der Gruppen gebraucht wird.