Wir wiederholen die Grundlagen der Wahrscheinlichkeitsrechnung, lernen die bedingte Wahrscheinlichkeit und den Satz von Bayes kennen und sehen am Frosch-Spiel, wie Bayesianisches Lernen funktioniert.
Am Beispiel von Bayes’ Billardkugeln lernen wir die allgemeine Bayes-Formel für diskrete und stetige Dichten kennen: Wie stellt man Vorwissen als Priori-Verteilung dar, und was macht man mit der Posteriori? Zum Abschluss ein Blick in die Geschichte der Bayes-Statistik.
Nach dem Bayes-Prinzip werden alle Schlüsse aus der Posteriori gezogen. Wir sehen uns an, wie man Prioris wählt (konjugiert, nicht-informativ oder subjektiv) und wie man im Poisson-Modell Punktschätzer, Kredibilitätsintervalle und Prädiktionen erhält.
Wir gehen zu Modellen mit mehreren unbekannten Parametern über: von der Normalverteilung mit einem und mit zwei unbekannten Parametern bis zur linearen Regression. Dabei lernen wir Monte-Carlo-Verfahren und den Gibbs-Sampler kennen.
Wir vergleichen Modelle mit dem Bayes-Faktor und lernen an der Poisson-Regression den Metropolis- und den Metropolis-Hastings-Algorithmus kennen. Danach schätzen wir dieselben Modelle mit der Software JAGS.
Wie prüft man, ob ein MCMC-Algorithmus konvergiert ist, und wie stellt man ihn ein? Dazu als moderne Alternative: Hamiltonian Monte Carlo mit der Software Stan.
Von der multiplen Regression kommen wir zu hierarchischen Bayes-Modellen: eine Zeitreihe mit Trend und Saisoneffekt, Variablenselektion mit Regularisierungsprioris und Modellwahl mit dem DIC.
MCMC ist nicht der einzige Weg zur Posteriori: der empirische Bayes-Ansatz, seine Umsetzung in BayesX sowie die Laplace-Approximation und INLA.
Zwei weitere Beispiele hierarchischer Modellierung: Bruchpunktmodelle und Mischverteilungsmodelle.