Grundlagen der Informationstheorie - Teil 2 Kluge Köpfe der Informationstheorie: Claude Shannon

Anbieter zum Thema

MES Electronic Connect GmbH & Co. KG

IBR Leiterplatten GmbH & Co. KG

RECOM Power GmbH

Claude Shannon gilt als Vater der Informationstheorie, die er 1948 in seiner bahnbrechenden Arbeit "A Mathematical Theory of Communication" begründete. Seine Theorien zur Datenübertragung und -komprimierung bilden die Grundlage für moderne digitale Kommunikation und Informationstechnologie. Wir beleuchten sein Leben und Wirken.

Zu den Vätern der Informationstheorie gehören zwei kluge Köpfe. Den Elektrotechniker Ralph Hartley und dessen Leben haben wir bereits beleuchtet. Die hauptverantwortliche Figur der Informationstheorie ist aber der Mathematiker Claude Shannon, der neben seinen wichtigen theoretisch-mathematischen Erkenntnissen auch einige eher ungewöhnliche Dinge verantwortet, zu denen wir später im Rahmen dieses Textes kommen.

Bei der Informationstheorie geht es um eine mathematische, quantitative Erfassung von Informationen in Verbindung mit einer Analyse eines Codierungsverfahrens für eine möglichst verlustfreie Informationsübertragung. Die Theorie dient auch heute noch als Basis, um die möglichen Datenraten elektronischer Schaltungen und Bauteile zu berechnen. Ebenso gehört die Theorie zu den Bausteinen des Fachgebietes der Informatik.

Bildergalerie

Bildergalerie mit 6 Bildern

Ein wichtiger Begriff innerhalb der Informationstheorie ist die Entropie; die maximale Datenübertragungsrate unter Beachtung des Signal-zu-Rausch-Verhältnisses. Vereinfacht formuliert geht es um die Anzahl an Datensignalen, die nötig ist, um ein spezifisches Zeichen aus einer Zeichenkette zu identifizieren.

Das aus den Theorien entstandene Shannon-Hartley-Gesetz dient der Berechnung der theoretisch möglichen Obergrenze einer Bitrate für die Datenübertragung und wird ebenso heute noch bei der Entwicklung und Analyse Daten verarbeitender Elektrotechnik genutzt. Die Informationstheorie entstand im Laufe der 1940er-Jahre, wobei man vorwiegend die Veröffentlichungen ab 1948 als Meilensteine betrachten kann. Aus Shannons Theorien entstand auch die Bezeichnung Bit für die kleinste Informationseinheit, die Kurzform für „binary digit“.

Shannons Leben bis 1949

Geboren wurde Claude Shannon am 30. April des Jahres 1916 in der kleinen Stadt Petoskey in Michigan. Er hatte eine aus Deutschland stammende Mutter, die als Sprachlehrerin arbeitete; sein Vater war Richter. Seine ältere Schwester Catherine ging an die University of Michigan in Ann Arbor, unmittelbar westlich von Detroit, und schloss 1932 das Studium der Mathematik ab. Im selben Jahr startete Claude Shannon an derselben Universität sein eigenes Studium, und zwar in den Fächern Mathematik und Elektrotechnik. Das Studium schloss er 1936 erfolgreich ab.

Im Anschluss ging Shannon ans MIT (Massachusetts Institute of Technology) in Cambridge bei Boston, wo er 1937 eine Master-Abschlussarbeit im Fach Elektrotechnik zu Relais und Schaltkreisen schrieb. Hierfür verwendete er Boolesche Algebra zur Beschreibung von digitalen Schaltkreisen. Für seinen Doktortitel der Mathematik, den er 1940 erhielt, befasste er sich mit theoretischer Genetik.

Im Jahr 1941 begann Claude Shannon eine Tätigkeit bei Bell Laboratories, den damaligen Forschungslaboren des Telekommunikationskonzerns AT&T in New Jersey. Vom Kriegsdienst blieb Shannon verschont, da er schon damals als für die Informationstechnik wichtiger Kopf eingestuft wurde. Während des Zweiten Weltkriegs half er im Bereich der Radartechnik dabei, durch die Erfassung von Flugzeugen auch deren Flugbahnen zu berechnen, was das Abfangen erleichterte respektive überhaupt erst ermöglichte. 1949 heiratete er die technische Assistentin Mary Elisabeth Moore, die er in den Bell Laboratories im Rahmen seiner Arbeit kennengelernt hatte, und bekam mit ihr im Laufe der Ehe drei Kinder.

Informationstheorie und teils skurrile Erfindungen

Im Jahr vor seiner Hochzeit, also 1948, veröffentlichte Claude Shannon, den Aufsatz „A Mathematical Theory of Communication“, im Deutschen „Mathematische Grundlagen in der Informationstheorie“, in dem er die Frage behandelte, wie man eine kodierte Information, die durch einen gestörten Kommunikationskanal fließt, verlustfrei decodieren kann. Parallel dazu erschien ein Artikel von Shannon, in dem er eine Theorie zur Kanalkapazität bei der digitalen Signalübertragung aufstellte. Hierbei nutzte er Erkenntnisse des britischen Mathematikers John Macnaghten Whittaker und des schwedisch-amerikanischen Elektrotechnikers Harry Nyquist und verband diese miteinander.

Der sowjetische Elektrotechniker Wladimir Alexandrowitsch Kotelnikow kam schon 1933 zu ähnlicher Erkenntnis, nämlich dass die Abtastfrequenz für die verlustfreie Umwandlung eines digitalen in ein analoges Signal mindestens doppelt so groß wie die höchste im Signal enthaltene Frequenz sein muss. Die Erkenntnisse daraus werden als Nyquist-Shannon-Abtasttheorem oder auch WKS-Abtasttheorem bezeichnet, wobei WKS für die Namen Whittaker, Kotelnikow und Shannon steht.

Im Jahr 1949 veröffentlichte Claude Shannon zudem einen Artikel, in dem er Kryptographie, also das Codieren von Informationen oder Daten, als eigenständiges Wissenschaftsfeld einordnete. Die wichtige Grundlage für all dies war die Problematik, dass das Rauschen beim analogen Senden von Signalen durch die immer wieder nötige Verstärkung so stark zunahm, dass die Signale nicht mehr sinnvoll zu identifizieren waren. Shannon versuchte aber nicht, das Rauschen zu mindern, sondern ihm war klar, dass es für die Übertragung der Informationen sinnvoller ist, die Signale digital zu codieren, um sie beim Empfänger wieder zu decodieren. Shannons Informationstheorie diente und dient dazu, Theorie und Technik miteinander zu verbinden.

Geniale sowie skurrile Erfindungen

Bemerkenswert waren auch die praktischen Begabungen von Claude Shannon, durch die er einige ungewöhnliche Dinge erfand. Diese waren einerseits eher im Bereich der Freizeitprodukte einzuordnen, wie ein Pogostock mit Motor oder raketengetriebene Frisbees, andererseits hingen sie allerdings auch direkt mit seinen mathematischen und elektrotechnischen Fähigkeiten zusammen. So entwickelte er im Jahr 1950 eine mechanische Maus, die eine Art Gedächtnis besaß, das aus Relais besteht, um sich in einem Labyrinth orientieren zu können.

Ebenfalls 1950 veröffentlichte Shannon Theorien für Schachprogramme, die im Jahr 1956 zum ersten Schachprogramm führten, das auf einem Computer, genauer gesagt dem Großcomputer MANIAC in Los Alamos betrieben werden konnte. 1960 baute Shannon schließlich auch selbst einen Vorläufer von Schachcomputern. Während der Arbeit fuhr er zudem gerne mit einem Einrad durch die Flure und jonglierte dabei; zudem entwarf er neue, ungewöhnliche Einrad-Varianten. Shannon war für viele skurrile Ideen bekannt und hatte offenbar auch oftmals den Schalk im Nacken: Seine „Ultimate Machine“ genannte Erfindung ist ein kleiner Kasten, aus dem, wenn man den außen angebrachten Schalter betätigt, eine künstliche Hand herauskommt, die den Schalter wieder ausstellt.

MIT-Professur, Finanztheorie und Ehrungen

Im Jahr 1958 verließ Claude Shannon seine Arbeitsstelle bei Bell Laboratories von AT&T und wechselte ans MIT, um eine Professur anzutreten, nachdem er bereits 1956 als Gastprofessor tätig war. Mit Bell Laboratories war er dabei bis zum Jahr 1972 weiterhin als Berater verbunden.

Während seiner Zeit beim MIT befasste er sich mit Finanztransaktionen und hielt zu diesem Thema mehrere Vorlesungen, bei denen auch der Volkswirt und spätere Wirtschafts-Nobelpreisträger Paul A. Samuelson mehrfach als Hörer mit dabei gewesen sein soll. Shannon vertrat ein Verfahren, bei dem man die Zufallsveränderungen der Finanzmärkte nutzt, indem das Kapital nach jeder Transaktion jeweils zur Hälfte als Barreserve und für Spekulationen aufteilt. 1978 ging Claude Shannon in den Ruhestand und wurde vom MIT emeritiert. Im Alter von 84 Jahren verstarb er schließlich am 24. Februar 2001 in Medford nördlich von Boston. Er lebte zuvor bereits einige Jahre in einem Pflegeheim, da er an Alzheimer erkrankt war.

Claude Shannon zahlreiche Ehrungen, zum Beispiel 1939 den Alfred Noble Prize der amerikanischen Ingenieursvereinigung ASCE sowie 1966 die National Medal of Science. Er wurde zudem 1957 in die Ehrengesellschaft American Academy of Arts and Sciences gewählt und 1970 Mitglied der deutschen Forschergemeinschaft Leopoldina. 1985 war Shannon der erste Preisträger des Kyoto-Preises, einer mittlerweile kurz hinter dem Nobelpreis rangierenden Auszeichnung für Persönlichkeiten aus Kultur und Wissenschaft. Die britische Wissenschaftsvereinigung Royal Society wählte ihn zudem 1991 zum auswärtigen Mitglied, und auch sein langjähriger Arbeitgeber AT&T ehrte Claude Shannon, indem er ein Forschungslabor in Florham Park (New Jersey) in AT&T Shannon Laboratory benannte. (sb)

Grundlagen der Informationstheorie

Kluge Köpfe der Informationstheorie: Ralph Hartley

(ID:50116038)