Informationstheorie

[engl. information theory; lat. informare gestalten, darstellen, unterrichten], [KOG, SOZ], math. Theorie, mit deren Hilfe Gesetzmäßigkeiten zu der Menge von Informationen, die von einem Sender (im weitesten Sinn) ausgeht, durch einen «Kanal» übertragen wird und bei einem Empfänger eintrifft, sowie Bedingungen, die für eine optimale Codierung (Verschlüsselung, Code) von Informationen gelten, dargestellt werden. Die Informationstheorie entstand ursprünglich aus dem Bedürfnis von Nachrichtentechnikern, Probleme wie die max. Anzahl von Nachrichteneinheiten, die ein Kommunikationsmittel unter gegebenen Umständen in der Zeiteinheit übertragen kann (Kanalkapazität), exakt zu behandeln. Die Ausarbeitung einer math. Theorie von Kommunikation durch Shannon & Weaver (1949, nach Vorarbeiten von Hartley, Nyquist, Küpfmüller u. a.), welche den Fall diskontinuierlicher (diskreter) Signale (Signal) ausführlich behandelt, regte sehr bald Psychologen, Pädagogen (Pädagogik), Neurophysiologen (Neurophysiologie) und Soziologen (Soziologie) zur Anwendung der Informationstheorie auf Kommunikationsprobleme i. w. S. an. Dies führte zu Versuchen, Vorgänge der Aufnahme und Verarbeitung von Wahrnehmungsreizen (Wahrnehmung), der Begriffsbildung, der sprachlichen und nicht sprachlichen Verständigung als Informationsverarbeitungsprozesse (Informationsverarbeitung) zu deuten und kommunikationstheoretische Modelle psych. Prozesse zu entwickeln (Kybernetik).

Einfachster Anwendungsfall der Informationstheorie diskreter Signale in der Ps. ist die Darstellung des Informationsgehalts einer univariaten Verteilung der relativen Häufigkeiten (als Schätzung der Wahrscheinlichkeiten) von Beobachtungsdaten (z. B. die versch. Antworten in einer Mehrfachwahlaufgabe). Da der Informationsgehalt einer einzigen Nachrichtenklasse i proportional dem Kehrwert ihrer Wahrscheinlichkeit ist, ist der durchschnittliche Informationsgehalt H umso größer, je größer die Zahl i der Klassen (z. B. der möglichen Antwortarten) und je ausgeglichener die Wahrscheinlichkeiten der einzelnen Klassen sind (z. B. gleiche Häufigkeit der versch. Alternativen einer Mehrfachwahlaufgabe bei Beantwortung durch eine definierte Gruppe von Personen). Das adäquate Maß liefert die Shannon-Formel:

Bei Benutzung des Zweierlogarithmus in der Shannon-Formel wird H bei zwei unterscheidbaren Beobachtungsklassen mit Wahrscheinlichkeiten von je 0,5 genau 1,0; diese Informationseinheit wird als 1 bit bezeichnet. Auch bivariate Verteilungen (wie Kontingenz von Reiz- und Reaktionsklassen als Bsp. von «Informationsübertragung») und multivariate Verteilungen können informationstheoretisch behandelt werden, wobei Parallelen zu Varianzanalyse und zur Regressionsanalyse bestehen.

In der Ps. wird die Informationstheorie diskreter Signale auf vielen Teilgebieten der allgemeinen Ps. (Wahrnehmung, Lernen, Begriffsbildung), aber auch in der differentiellen, angewandten und Sozialps. angewendet. Besondere Bedeutung haben die Methoden der Informationstheorie im Bereich der Sprache erlangt. Jede sprachliche Mitteilung ist eine durch Codierung entstandene Zeichenabfolge, die vom Sprechenden (Sprachproduktion; bzw Schreibenden) erzeugt, zum Hörenden (Sprachrezeption; bzw. Lesenden) übertragen und dort decodiert (Decodierung) wird. Wichtige Übertragungs-Kennwerte (z. B. Geschwindigkeit und Störanfälligkeit) stehen in direktem Zusammenhang mit dem Informationsgehalt der Sprachzeichen und ihrer Kombinationen. Garner und Attneave waren die ersten, die Informationstheoriemaße zur Beschreibung der Struktur (des Ordnungsgrades) einsetzten, wobei v. a. der Begriff der Redundanz (Abweichung von der max. möglichen Information) eine große Rolle spielt.

Die Informationstheorie kontinuierlicher Signale, der ursprünglich häufigere Anwendungsfall in der elektrischen Nachrichtentechnik, enthält als ein Grundtheorem den Satz, dass ein kontinuierlich variierendes Signal von T Sek. Dauer (z. B. die Amplitude einer in einem best. Frequenzbereich  variierenden elektrischen oder mechanischen Größe) durch eine Stichprobe von zwei WT-Werten vollkommen charakterisiert ist. Da auch bei genauestmöglicher Bestimmung (durch Messinstrumente (Messen) oder Beobachtung) nur eine endliche Zahl von Amplitudenstufen einer Größe unterschieden werden kann, lassen sich Probleme der Informationstheorie kontinuierlicher Signale teilweise auch mit den Mitteln der Informationstheorie diskreter Signale bearbeiten. In der Ps. wird die Informationstheorie kontinuierlicher Signale z. B. bei der Behandlung des motorischen Verhaltens (Motorik, wie Ziel-Verfolgungsaufgaben (Zielmotorik)) angewendet.