Grundlagen und Anwendungen der Informationstheorie

465 Pages·1959·15.94 MB·German

by  Dr. W. Meyer-Eppler (auth.)

Kommunikation und Kybernetik in Einzeldarstellungen
Herausgegeben von W. Meyer-Eppler
Band 1
Grundlagen und Anwendungen
der Informationstheorie
von
Dr. W Meyer-Eppler
b. ao. Professor und Direktor des Instituts für Phonetik und
Kommunikationsforschung an der Universität Bohn
Mit 178 Abbildungen und 1 Tafel
Springer-Verlag . Berlin . Göttingen . Heidelberg t 959
Alle Rechte, insbesondere das der Dbersetznng in iremde Sprachen, vorbehalten.
Ohne ausdrilckliche Genehmigung des Verlages ist es anch nicht gestattet, dieses
Buoh oder Teile darans ani photomechanischem Wege (Photokopie, Mikrokopie
zu vervielfăltigen
© by Springer-Verlag OHG. Berlin· Giittingen . Heidelberg 1959
Softcover reprint of the hardcover 1s t edition 1959
ISBN 978-3-642-52950-4 ISBN 978-3-642-52949-8 (eBook)
DOI 10.1007/978-3-642-52949-8
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in
diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme,
daO solche Namen im Sinn der Warenzeichen- und Markenschutz-Gesetzgebung
als irei zu bctrachten wăren und daher von jedermann benutzt werden diirften
V orwort des Herausgebers
Der klassischen (archimedischen) Welt der Energie- und Arbeits
leistung stellt MAX BENSE eine nichtklassische (pascalsche) Welt der
Informations- und Kommunikationserzeugung gegenüber Obgleich
1.
in TeilaspekteB schon lange bekannt, ist diese nichtklassische Welt erst
durch zwei wesentlich mathematische Theorien, die Informationstheorie
auf der einen und die theoretische Kybernetik auf der anderen Seite einer
systematischen und über jedes enge Spezialistentum hinausgehenden
Erforschung zugänglich geworden. Ihre fachverbindende Kraft zeigt
sich nicht zuletzt darin, daß auf den bisher veranstalteten Kongressen
und Symposien über Informationstheorie und Kybernetik Biologen,
Mathematiker, Nachrichtentechniker, Neurophysiologen, Philosophen,
Phonetiker, Physiker, Physiologen, Psychologen, Psychopathologen,
Soziologen und Sprachwissenschaftler in fruchtbaren Diskussionen
gemeinsame Anliegen behand€ln konnten.
Aufgabe der Informationstheorie ist es, die Kommunikation von
Mensch zu Mensch, die sich als Zeichenverkehr manifestiert, oder die
Kommunikation des Menschen mit der Welt, die auf eine Beobachtung
hinausläuft, einer quantitativen und strukturellen Erfassung zugänglich
zu machen, während die Kybernetik 2 als "science of relations" (N. WIE
NER) die regulären Verhaltensweisen von hochkomplexen energetisierten
"Systemen" (d. h. von informationsverarbeitenden "Maschinen", Lebe
wesen und Gruppen von Lebewesen) mit mathematischen Methoden
studiert
3.
Dem mathematisch Ungeschulten macht es oft Schwierigkeiten, die
Anwendbarkeit von mathematischen oder strukturalistischen Betrach
tungen auf Probleme einzusehen, die nicht-naturwissenschaftlichen Cha
rakter tragen. Hierbei wird jedoch verkannt, daß es sehr verschiedene
Arten von Mathematik gibt, außer der deterministischen beispielsweise
eine stochastische4, die es grundsätzlich mit Aussagen über ungenau be
kannte Vorgänge zu tun hat, Aussagen, die sich in Form von Wahrschein
lichkeiten präsentieren. Die mit jeglicher Art von Wahrscheinlichkeits
betrachtung verknüpften Schwierigkeiten hat EDDINGTON treffend cha-
1 MAX BENSE: Philosophie der Technik. Phys. BI. 10, 481-485 (1954).
2 von griech. XVßf(!Vrrwaj Steuermannskunst.
3 Vgl. W. Ross ASHBY: An Introduction to Cybernetics, S.1-6. London:
Chapman & Hall 1956.
4 Siehe S. 70.
IV Vorwort des Herausgebers
rakterisiertl: "Erkenntnistheoretisch betrachtet ist die Wahrscheinlich
keit ein sehr seltsamer Begriff. Denn ein gewisses und präzises Wissen
von einer Wahrscheinlichkeit wird als ein grobes und ungenaues Wissen
von etwas erklärt, von dem es die Wahrscheinlichkeit ist." Auch das
Vorliegen einer Struktur wird vielfach fälschlich so gedeutet, als wenn
hierbei durchaus "Vorstellungen von Exaktheit" oder "präzisem Inein
andergreifen" mitspielen müßten und der dem Belebten eigentümlichen
Entscheidungsfreiheit in unzulässiger Weise Gewalt angetan würde
2.
Solche Einwände basieren auf unzulänglich verstandenen mathemati
schen Prinzipien und verflüchtigen sich mit zunehmender Einsicht in die
mathematische Denkweise. Gewiß ist es möglich, Zusammenhänge, die
sich mit den Hilfsmitteln der Mathematik durchsichtig darstellen lassen,
auch in Worten auszudrücken, aber es ist sehr zweifelhaft, ob hiermit
einem der Mathematik Fernstehenden gedient wäre.
In der Reihe "Kommunikation und Kybernetik in Einzeldarstel
lungen" soll deshalb nicht darauf verzichtet werden, die Mathematik als
wirksames Instrument zur Darstellung von komplizierten Sachverhalten
einzusetzen. Da das zu behandelnde Gebiet in stetiger Ausweitung und
Fortentwicklung begriffen ist, werden die einzelnen Bände der Reihe
sowohl über abgerundete Tatbestände wie über im Fluß befindliche Ent
wicklungen berichten, wobei jeweils Sachkenner des In- und Auslandes
zu Wort kommen sollen.
1 Sir ARTHUR EDDINGTON: Philosophie der Naturwissenschaft, S. 115. Bern:
A. Francke o.J. (= Sammlung DALP Bd. 11).
2 V gl. z. B. H. L. KOPPELMANN : Phonologie, strukturelle Linguistik und die
Zweckmäßigkeit in der Sprache. Anthropos 51, 201-246 (1956).
Vorwort des Verfassers
"Information is information, not mat
ter or energy. No materialism which does
not admit this can survive at the present
day." (N. WIEN ER)
Der erste Band der Reihe "Kommunikation und Kybernetik in
Einzeldarstellungen" behandelt die Grundlagen und Anwendungen der
Informationstheorie. Diese war als zunächst rein mathematische Theorie
von den Mathematikern R. A. FrsHER, C. E. SHANNON und N. WIENER
bei Versuchen zur Lösung verschiedener Probleme (statistischer Fragen
bei FrsHER, Fragen der Codierung von Nachrichten bei SHANNON und
Fragen der Entstörung von Nachrichtenkanälen bei WIENER) entwickelt
worden!, fand aber dann rasch, oftmals zu rasch, Anwendung in den ver
schiedensten außermathematischen Gebieten, von deren Vielfalt die
Kongreßberichte dreier in den Jahren 1950, 1952 und 1955 in London
veranstalteten Symposien Zeugnis ablegen (SympInfTh, JACKSON
ComTh und CHERRY InfTh2). Die Zahl der Veröffentlichungen über in
formationstheoretische Fragen stieg schnell an, und sie steigt unaufhörlich
weiter3. Dabei tritt deutlich die Tendenz zutage, das Wort "Infor
mation" in verschiedener Weise zu verwenden, einmal mit ungefähr dem
Inhalt, den es in der Umgangssprache hat und der sich bei der Behand
lung linguistischer Probleme anbietet, und auf der anderen Seite mit
einem rein abstrakten mathematischen Inhalt, insbesondere bei der Be
handlung wahrscheinlichkeitstheoretischer Fragestellungen 4. Ich habe
versucht, in dem vorliegenden Buch im wesentlichen der umgangs
sprachlichen Bedeutung des Wortes "Information" Rechnung zu tragen,
wobei jedoch durch eine exakte Definition aller mit "Information"
zusammengesetzten Wörter (Informationsgehalt, Informationsdichte,
Informationsvolumen usw.) dafür gesorgt werden mußte, daß die mathe
matische Behandlung eine feste Basis erhielt.
1 S. hierzu N. WIENER: Cybernetics, S. 18. New York-Paris: The Technology
PressjWiley & Sons - Hermann et Cie. 1948. Ausführliche historische Daten zur
Informationstheorie bringt R. FILIPOWSKI in J. Brit. Instn. Radio Engrs. 15,
451-467 (1955).
2 Titelabkürzungen verweisen - auch später im Text - auf das Buchliteratur
verzeichnis S. XV-XVII.
3 Vgl. die Bibliographien S. XVII.
4 FEINSTEIN FInfTh, KULLBACK ITS, AInfth I u. 11.
VI Vorwort des Verfassers
Zentrales Anliegen aller Betrachtungen ist die menschliche Kommuni
kationskette (Kap. 1) und der in ihr stattfindende Zeichenverkehr, der von
Signalen getragen wird, die den Sinnesorganen zugänglich sind. Die meß
baren Eigenschaften dieser Signale bilden die Grundlage für alle weiteren
Untersuchungen (Kap. 2), wie etwa für die Frage nach den zur Signal
übermittlung geeigneten Übertragungssystemen (Kap. 3), die Statistik
der hierbei verwendeten stereotypen Signalformen ("Symbole") (Kap. 4)
und den Einfluß von Störungen auf die Signalübermittlung (Kap. 5)
sowie die mögliche Sicherung gegen Übertragungsfehler (Kap. 6). In
Kap. 7 tritt der informationsempfangende Kommunikationspartner mit
seinen Sinnesorganen in Erscheinung, zunächst als Empfänger von
Signalen und von Kap. 8 ab als Empfänger von Zeichen. Als die wich
tigsten Zeichen träger werden in Kap. 9 die akustischen und optischen
Valenzklassen behandelt. Von hier aus ergibt sich ein unmittelbarer
Zugang zur höchsten Stufe menschlicher Kommunikation, zur sprach
lichen Kommunikation. Im Anschluß an die Probleme und Methoden der
strukturellen Linguistik (Kap. 10) ist das letzte Kapitel der realen
SprachübermittIung gewidmet, d. h. dem Schicksal der Sprach zeichen
in einem zwischen dem sende- und dem empfangsseitigen Kommuni
kationspartner etablierten gestörten Übertragungskanal. Durch eine
genügende Zahl von Hinweisen wurde dafür gesorgt, daß jedes Kapitel
zur Not auch ohne die vorangegangenen Kapitel verständlich ist.
Da die Originalliteratur zu den behandelten Fragen vorzugsweise in
englischer Sprache veröffentlicht ist, wurde das Sachverzeichnis durch
Hineinnahme englischer Fachausdrücke (kursiv gedruckt) so ausgebildet,
daß es als Fachwörterbuch dienen kann. Der genaue Inhalt der ent
sprechenden deutschen Wörter wie aller deutschen Fachwörter kann nur
aus dem Text ersehen werden; auf die betreffenden Seiten ist durch Fett
druck der Seitenzahl im Sachverzeichnis hingewiesen. Um gewisse im
Englischen vorliegende Mehrdeutigkeiten (z. B. von rate, capacity) zu
beseitigen, wurde das deutsche Fachvokabular durch eine Reihe von
bisher ungebräuchlichen Ausdrücken ergänzt (z. B. Besetzungsgrad,
Dichtekapazität, Flußkapazität, Informationsangebot, Informations
dichte, Symbolkapazität, Transinformationsfluß).
Wesentliche Teile des Buches habe ich in Vorlesungen an der Uni
versität Bonn in den Jahren 1952 bis 1959 behandelt, und ich verdanke
den Diskussionen mit meinen Hörern vielfältige Anregungen. Besondere
Unterstützung durch Rat und Tat fand ich bei den Herren Dr. W. ENDRES
(Darmstadt), Dr. F. A. FISCHER (Darmstadt), P. Prof. Dr. F. GIET (Na
goya) , Prof. Dr. W. FUCKS (Aachen), Prof. Dr. R. ]AKOBSON (New
York) , Dr. G. KANDLER (Bonn), J. PETERS (München), Prof. Dr. H. WOL
TER (Marburg) und Dr. H. ZEMANEK (Wien). Der Mühe des Korrektur-
Vorwort des Verfassers VII
lesens unterzogen sich meine Mitarbeiter G. HEIKE, Dipl.-Phys.
H. SCHNELLE, Dipl.-Ing. H. SENDHOFF und Dr. G. UNGEHEUER sowie
Herr Prof. Dr. F. WINCKEL (Berlin). Ihnen allen gebührt mein herz
licher Dank, nicht zuletzt aber dem Springer-Verlag, der bereitwillig
auf meine Wünsche eingegangen ist.
Bonn, im Juni 1959 W. MEYER-EpPLER
Inhaltsverzeichnis
Seite
Buchliteratur . . XV
Bibliographien. . XVII
Zeichenerklärung . XVIII
Erstes Kapitel
Die Kommunikationskette
Die Beobachtungskette . . . . . . . .
Die diagnostische Kommunikationskette 2
Die sprachliche Kommunikationskette 2
Simultane Kommunikation in verschiedenen Sphären . 3
Der äußere Rückmeldekreis . . . . 3
Die gestörte Kommunikationskette . 4
Mittelbare Kommunikation 4
Der externe Beobachter ..... . 5
Zweites Kapitel
Strukturtheorie der Signale 5
Strukturelle Information 8
Signal und Spektrum . . . . . . . . . . . . . . . 8
Effektive Dauer und effektive Bandbreite eines Signals 10
Der maximale Strukturgehalt des Signals 11
Signale von streng endlicher Dauer . . 12
Signale von streng endlicher Bandbreite . 13
Das zeitliche Auswahltheorem . . . . . 13
Eine Verallgemeinerung des zeitlichen Auswahltheorems 15
Das spektrale Auswahltheorem . . . . . . . . . . . 16
Anwendung des Auswahltheorems auf OItsabhängige Signalfunktionen 16
Änderung der Dimensionszahl gequantelter Signale 17
Spektraltransformationen . . . . . . . . 19
GABoR-Matrix und Zeit-Frequenz-Spektrum . 21
Auflösung und Auflösungsgewinn . . . . . . 24
Höherdimensionale Spektraltransformationen . 25
Die Spektraltransformation ortsabhängiger Signalfunktionen 25
Metrische Information. . . . . . . . . . . . . . . 27
Vektorielle Darstellung eines Signals. . . . . . . . . . . 29
Binäre Schreibweise der numerischen Amplitude; der Informationsbetrag . 30
LAPLAcEscher Genius und metrische Präzision . . . . . . . . . 31
Informationsvolumen und Informationsfluß zeitabhängiger Signale 33
Austausch von metrischer und struktureller Information . . . . 35
Abbildung eines Binärsignals auf einen Punkt der Einheitsstrecke 36
Thermische Fluktuationen und Quanteneffekte . . . . . . 38
Informationsvolumen, Informationsfluß, Informationsdichte 39
Inhaltsverzeichnis IX
Drittes Kapitel Seite
Eigenschaften linearer Übertragungssysteme 40
Die Flußkapazität (Kanalkapazität) . . . . .. . . . . . 42
Anpassung des Informationsangebots an die Flußkapazität 45
übertragungskanäle mit frequenzabhängiger Durchlässigkeit 46
Die Dichtekapazität 48
Die Speicherkapazität. . . . 53
Viertes Kapitel
Symbolstatistik 53
Binärer Besetzungsgrad und Informationsangebot 53
Nachrichtenobjekte, Symbole ....... . 58
Zerlegung in gleich große Nachrichtenobjekte . 58
Informationsgehalt (Entropie) und Redundanz. 60
Beispiele für die Entropieberechnung . . . . . 64
Einfluß von kleinen Anderungen der Belegungsdichte auf die Entropie 65
Der effektive Symbolvorrat . . 66
Strategie des Fragens . . . . . 66
Die übertragung von Symbolen 69
Symbolaggregate . . . . . . . 70
Graphische Darstellung von Markoffprozessen 72
Beispiele für Markoffketten . . . . . . . . 74
Abschätzen der Verkettungsordnung .... 76
Zusammenhängende zweigliedrige Symbolaggregate (Dyaden) 76
Xicht-zusammenhängende zweigliedrige Symbolaggregate 80
Zusammenhängende n-gliedrige Symbol aggregate . . . . . . 82
Die mittlere Symbolentropie ............. . 84
Ungleichgroße, zusammenhängende Symbolaggregate ; rationelle Sprachen 86
Optimalsprachen . . . . . . . . . . . . . . . . . . 89
Minimalisierung der Textkosten bzw. des Textaufwandes 91
Das kanonische Gesetz der Ranghäufigkeit 96
Die Wortabgrenzung innerhalb des Textes. . . . . . . 99
Momentane und lokale Entropie . . . . . . . . . . . 102
Verringerung des informationstheoretischen Aufwandes durch Codierung 103
Codierung in ein binäres Alphabet 105
Das Fundamentaltheorem . . . . . . . . . . . . . . . 108
Statistische Charakteristiken 109
Beziehungen zwischen Symbolaggregaten oder -kollektiven 113
Die Kontingenz . . . . . . . . . 114
Der gemeinsame Informationsgehalt 116
Affinität von Symbolaggregaten 117
Autokontingenz . . . . . . . . . 119
Autoaffinität . . . . . . . . . . 121
Der mittlere Affinitätskoeffizient von Symbolkollektiven 123
Korrelation und Autokorrelation von Symbolkollektiven 124
Signalstatistik . . . . . . . . . . . . . . . . . 126
Verminderung der Signalentropie durch Korrelation 128
Signalcodierung als ökonomische Maßnahme. . . . 128
Codierung durch Geschwindigkeitsmodulation des Signals 129
Codierung durch Dekorrelation. . . . . . . . . . . . 131
x
Inhaltsverzeichnis
Fünftes Kapitel Seite
Gestörte Systeme 133
Statistik des gestörten Systems . . . . . . . . 133
Übertragungs matrizen . . . . . . . . 136
Informationsverluste bei der Nachrichtenübermittlung 138
Der informationstheoretische Wirkungsgrad 141
Der Transinformationsfluß . . . . . 141
Symbolkapazität und Flußkapazität . . . 142
Das Korrespondenzmaß . . . . . . . . . 143
Das störungsfreie System mit dem Korrespondenzmaß B = 1 144
Störungsfreie Substitutionssysteme . 145
Das maximal gestörte System . . . . . . . . . . 146
Systemkaskaden . . . . . . . . . . . . . . . . 147
Geometrische Darstellung der Symbolübermittlung . 147
Der Satz von MUROGA . . . . . . . . . . . . . 151
Sechstes Kapitel
Sicherung gegen Übertragungsfehler 153
Codes ...... . 153
Die Codewort-Distanz 157
ED-Codes . 157
EC-Codes ..... . 161
Binärcodes . . . . . 162
Das geometrische Modell der Binärcodes. 165
Codes geringster Redundanz. . . 167
Wahl des geeignetsten Binärcode. 169
Code-Äquivalenzklassen. . . . . 171
Siebtes Kapitel
Die Sinnesorgane als Informationsempfänger 172
Aufgaben des externen Beobachters. 172
Was sind Signalparameter ? . . . . . . . . . . . . . . . . 173
Der Wahrnehmungsraum . . . . . . . . . . . . . . . . . 174
Die empfindungsbezogene Struktur des Wahrnehmullgsraumes . 175
Komparative Urteile erster Stufe; Valenzen . . . 176
Die Valenzkapazität eines Sinnesorgans 179
Typologische Einflüsse auf die Valenzabgrenzung . 179
Die Darbietung der Signale . . . . . . . . . . 180
Messung der Signaleigenschaften durch den externen Beobachter. 181
Die physikalische Seite der Messung . . . . . . . . . . . . 181
Was kann der externe Beobachter über die Signale erfahren? (Die logisch-
erkenntnistheoretische Seite) 182
Das Sichtgerät . . . . . . . . . . . . . 183
Signalwandler . . . . . . . . . . . . . 184
Die externe Beobachtung des Perzipienten 184
Zeitabhängige Testsignale . . . . . . . 185
Die Unbestimmtheit der Signalparameter 187
Energetische Parameter. . . . . . . . 189