Skip to Tutorial Content

Thomas Bayes

Thomas Bayes (1701–1761) war ein presbyterianischer Pfarrer, der sich mit Mathematik und Philosophie beschäftigte.

Das berühmte, einzige Bild von ihm, stellt vermutlich gar nicht ihn da (siehe hier).

Leben

  • Auch Thomas Vater Joshua Bayes war bereits presbyterianischer Priester.
  • Ab 1731 war Thomas Bayes Pfarrer von Tunbridge Wells in der Nähe von London.
  • Bayes’ beschäftigte sich wohl unter anderem auch deshalb mit Mathematik, um die Existenz Gottes zu beweisen.
  • Beeinflusst von des Schriften des französischen Mathematikers Abraham de Moivre (bekannt vom Satz von de Moivre-Laplace, dem Grenzwertsatz für die Bionomialverteilung), beschäftigte er sich mit der Mathematik des Glücksspiels (aus der die Wahrscheinlichkeitstheorie entstand).

Folgende Werke sind von Bayes bekannt:

  • Göttliche Barmherzigkeit, oder ein Versuch zu beweisen, dass das Ziel der Göttlichen Fürsorge und Gewalt das Glück seiner Geschöpfe ist
  • Eine Einführung in die Lehre der Analysis
  • Eine Verteidigung der Mathematiker gegen die Einwände des Autor von “The Analyst” (The Analyst war der Bischoff George Berkeley, der Artikel erschien anonym)

sowie

Versuch zur Lösung eines Problems der Wahrscheinlichkeitsrechnung

  • In diesem Artikel beschreibt Bayes das Problem der Billardkugeln, das wir im letzten Abschnitt kennengelernt haben, und beweist den nach ihm benannten Satz.
  • Der Artikel wurde erst drei Jahre nach Bayes’ Tod von seinem Freund Richard Price veröffentlicht.

Insgesamt ist wenig bekannt über Thomas Bayes. Er selbst hat die Bedeutung seiner Arbeit vermutlich nicht erkannt; er war wohl auch kein “Bayesianer” im heutigen Sinne.

Inverse Wahrscheinlichkeit

Pierre-Simon Laplace

Entscheidender für die weitere Entwicklung war Pierre-Simon Laplace (1749–1829).

  • Laplace war nicht nur Politiker (unter anderem Innenminister unter Napoleon Bonaparte), sondern vor allem gelernter Mathematiker.

  • Wissenschaftlich arbeitete er vor allem auch an der Himmelmechanik und der Astronomie. Dabei sammelte er (neben eigenen Beobachtungen) Beobachtungsdaten verschiedener, auch alter, Quellen. Die Kombination dieser Daten entsprach schon stark der heutigen Idee von Statistik.
  • Gleichzeitig arbeite er auch an der Wahrscheinlichkeitsrechnung, wie damals üblich ausgehend vom Glücksspiel.

  • Laplace kombininierte also Daten mittels Wahrscheinlichkeitsrechnung und kam dabei auf den Satz von Bayes.
  • Vermutlich kannte Laplace die Publikation Bayes’ nicht. Auf jeden Fall bewies er den “Satz von Bayes” sehr viel allgemeiner.
  • Laplace prägte für das Vorgehen den Begriff Inverse Wahrscheinlichkeit.

  • Laplace formulierte das Prinzip vom unzureichenden Grund, das heißt, ist keine Priori-Information vorhanden, so soll man die Gleichverteilung als Priori nehmen (was auch Bayes schon tat).
  • Dementsprechend wird die Gleichverteilung auch Laplace-Verteilung, speziell Laplace-Priori genannt.

Bayesscher Wahrscheinlichkeitsbegriff

  • Laplace prägte vor allem den Bayesschen Wahrscheinlichkeitsbegriff. Dabei wird Wahrscheinlichkeit (bzw. Chance oder Odds) als Grad persönlicher Überzeugung definiert.
  • Die Wahrscheinlichkeit kann dann zum Beispiel wie bei einer Wette festgelegt werden.
  • Laplace schätzte zum Beispiel die Masse des Saturns aus den ihm vorliegenden Daten. Zur Einschätzung seiner Unsicherheit über die Schätzung formulierte er:

Ich wette 11.000 zu 1, dass der Fehler in diesem Ergebnis nicht größer ist als 1/100 seines Wertes.

  • Nach heutigem Stand lag Laplaces Fehler übrigens bei 0,37 %.

Frequentismus und Objektivismus

  • Anfang des 20. Jahrhunderts entwickelte sich der Frequentismus. Der Begriff “Bayes-Statistik” wird Ronald Fisher zugeschrieben, wobei Fisher den Begriff als negativ verstanden haben wollte (eine Theorie zurückgehend auf einen Priester im 18. Jahrhundert!).

  • Kritisiert wurde insbesondere die Subjektivität; weniger des Bayesschen Wahrscheinlichkeitsbegriffs als vielmehr der Priori.

  • Mitte des 20. Jahrhundert arbeiteten Bayesianer deswegen vor allem an objektivistischen Verfahren, z.B. nicht-informativen Prioris, wie Harold Jeffreys (Jeffreys’ Priori lernen wir später noch kennen).

Markov Chain Monte Carlo

  • Mit dem Aufkommen von Rechnern wurde die Bayes-Statistik zunehmend interessanter, liessen sie doch relativ einfach sehr komplexe Modelle umsetzen.

  • Dabei wurden vor allem Markov Chain Monte Carlo-Algorithmen eingesetzt, die die Simulation von Zufallszahlen aus der Posteriori-Verteilung ermöglichten.

  • Schliesslich wuchsen die Theorien von Bayes-Inferenz und Likelihood-Inferenz wieder etwas zusammen, da der Zusammenhang von penalisierter Likelihood und Bayes-Statistik klar wurde.

  • Inzwischen werde immer mehr auch approximative Algorithmen in der Bayes-Inferenz eingesetzt.

Dazu später mehr …

Literatur

Weiter

Geschichte der Bayes-Statistik