Herzlich willkommen bei Kurs Bayes für Alle.

Studierende der LMU melden sich bitte im Moodle-Kurs für weitere Informationen an.

Inhaltsverzeichnis

  1. Einführung: Satz von Bayes und Bayesianisches Lernen
  2. Ein unbekannter Parameter: Grundlagen der Bayes-Statistik
  3. Mehr unbekannte Parameter: Verfahren zur numerischen Berechnung von Posteriori und Bayes-Schätzern
  4. Software zur Bayes-Analyse
  5. Selektion und Modellwahl
  6. Spezielle Modelle

Einführung

Vorraussetzungen

Für die Inhalte dieses Kurses brauchen Sie grundlegende Vorkenntnisse über Zufallsereignisse und Wahrscheinlichkeitsrechnung. Eine Zusammenfassung finden Sie hier:

Ausführliche Videos finden Sie hier (Links auf Youtube):

Einstieg

Zum Einstieg schauen wir uns den Satz von Bayes an und lernen die Grundzüge der Bayesianischen Statistik kennen:

Das Frosch-Spiel verdeutlicht nochmal, wie der Satz von Bayes arbeitet. Das Spiel zeigt auch, dass man durch mehrmaliges Beobachten bzw. mehrmaliges Anwenden des Satzes von Bayes Lernen kann:

Bis hierhin haben wir den Satz von Bayes nur dafür angewandt, uns zwischen einzelnen Ereignisse zu entscheiden, also für diskrete Zufallsvariablen angewandt. Nun erweitern wir den Satz auf stetige Parameter:

Das Beispiel mit den Billardkugeln geht auf Thomas Bayes selbst zurück. Die Bedeutung des Beispiels und des von ihm benannten Satzes wurde aber erst später klar:

Modelle mit einem Parameter

In diesem Kapitel lernen wir verschiedene Datenmodelle mit einem unbekannten Parameter kennen. Dabei vertiefen wir, welche Schlüsse wir aus der Posteriori ziehen können:

Als erste kommen wir zurück zum Beispiel von Bayes Billardkugeln und sehen uns die Information der Priori genauer an:

Die Möglichkeit, Information in die Priori-Verteilung zu stecken ist oft ein Kritikpunkt an der Bayes-Statistik, weswegen wir uns im letzten Abschnitt mit nicht-informativen Prioris befasst haben. Manchmal liegt aber auch Information vor. Ein Vorteil der Bayes-Statistik ist es, solche Information auch zu benutzen:

Im nächsten Abschnitt sehen wir uns ein Poisson-Modell für Zähldaten an. Dabei besprechen wir die Berechnung von Schätzern:

Schliesslich wiederholen wir die Erkenntnisse mit dem

Das Normalverteilungsmodell hat eigentlich zwei unbekannten Parameter. Wir müssen also zu Modellen mit mehr als einem unbekannten Parameter kommen.

Wahlabschnitt

  • Um sich für einen Bayesianischen Schätzer zu entscheiden, kann man die Entscheidungstheorie benutzen.

Mehr-Parametrische Modelle

Während man bei einem unbekannten Parameter die Posteriori und die Bayes-Schätzer meistens noch analytisch herleiten kann, ist dies bei mehreren unbekannten Parametern oft nicht mehr möglich. In diesem Kapitel lernen wir verschiedene approximative Verfahren kennen, z.B. numerische Approximation oder Monte Carlo-Verfahren.

Im diesem Kapitel gibt es jeweils zwei Versionen jedes Abschnitts, jeweils mit oder ohne konkreten Implementierung der besprochenen Verfahren in R. Sie können eine der Versionen wählen.

Da wir nun unterschiedliche Modelle kennen gelernt haben, beschäftigen wir uns erstmal mit der Frage, wie wir Modelle Bayesianische vergleichen können. Das Grundprinzip ist dabei einfach: Das Modell ist ein weiterer uns unbekannter Parameter. Wir müssen uns also die Posterioriwahrscheinlichkeit des Modells ansehen. Das führt uns zum

Mit dem Normalverteilungsmodell machen wir den ersten Schritt in Modelle mit mehr als einem unbekannten Parameter:

Je nach Prioriannahme brauchen wir im Normalverteilungsmodell mit zwei Unbekannten schon ein Sampling-Verfahren, um die Posteriori zu erhalten. Im nächsten Abschnitt erweitern wir das Normalverteilungsmodell zum linearen Regressionsmodell – und lernen den Gibbs-Sampler kennen:

Mit dem Bayes-Ansatz kann man relativ leicht von der Normalverteilungssannahme im Regressionsmodell weggehen, z.B. zur Poisson-Regression. Wir lernen dabei den Metropolis-Sampler kennen:

Gibbs- und Metropolis-Samler lassen sich auch kombinieren. Wir wenden die Methode auf ein weiteres Poisson-Modell an:

Damit kennen wir die Grundlagen der Monte Carlo Marcov Chain (MCMC-)Verfahren. Zwei Beispiele sollen die Funktionsweise der Algorithmen nochmal klar machen:

Mehr zu MCMC (Wahlabschnitte)

Der folgenden Abschnitte geht noch etwas genauer auf die Details der Monte Carlo-Verfahren und des Ziehen von Zufallszahlen ein:

Hierarchische Modell

Mit dem Bayesianischen Ansatz können wir sehr einfach immer komplexere Modelle machen. Wir beginngen mit

Dabei lernen wir auch das erste Software-Paket (JAGS) kennen. Einen Schritt weiter kommen wir zu

Die Hierarchischen Bayesianischen Modelle (HBM) sind ein mächtiges Werkzeug zur Modellierung. Ein Beispiel dafür ist

Software für Bayes-Modellierung

Es wäre nun sehr mühsam, die Algorithmen immer von Hand zu implementieren. In diesem Kapitel lernen wir verschiedene Softwarepakete kennen, die zur Bayesianischen Modellierung benutzt werden können. Sie verwenden dabei zum Teil unterschiedliche Ansätze.

Ansätze

Die folgenden beiden Abschnitte behandeln Alternativen zu MCMC und sind Wahlabschnitte. Sie enthalten die darauf folgenden Softwareabschnitte zu BayesX und INLA.

Software

Spezielle Modelle (Wahlabschnitte)

Um hierarchische Modelle zu vergleichen, brauchen wir ein passendes Informationskriterium:

Sehen wir uns noch weitere spezielle Modelle an.