Bayesianische Inferenz
Im Folgenden wiederholen und verallgemeinern wird das Vorgehen in unseren bisherigen Beispielen:
- Wir beobachten \(n\) Daten \(x_i\), die aus einem Zufallsprozess entstanden sind.
- Die \(x_i\) sind Realisierungen einer Zufallsvariable \(X_i\).
- \(X_i\) hat eine Verteilung mit (Daten-)Dichte (Likelihood) \(f(x)\).
- Wir kennen die Datendichte aber nicht vollständig, sondern nur bis auf Parameter \(\theta\): \(f(x|\theta)\)
- \(\theta\) ist unbekannt und die Information über \(\theta\) lässt sich in Form einer Dichte darstellen
- Vor der Beobachtung (a priori) ist unsere Information ausgedrückt durch die Priori-Dichte \(p(\theta)\)
- Durch Beobachtung erhalten wir mehr Information, ausgedrückt durch die a posteriori-Dichte \(p(\theta|x)\)
Bisher waren \(x\) und \(\theta\) eindimensional, im Folgenden können sie aber auch mehrdimensional sein!
Aufgaben in der Bayesianischen Inferenz
- Festlegung des statistischen Modells für \(x\) und damit der Datendichte (Likelihood) \(f(x|\theta)\)
- Festlegung des a priori-Wissens über \(\theta\), also der Priori-Dichte \(p(\theta)\)
- Berechnung der Posteriori \(p(\theta|x)\)
Bayes-Prinzip
- Die Dichte der Posteriori-Verteilung erhalten wir über die Bayes-Formel
\[ f(\theta|x) = \frac{f(x|\theta) \cdot f(\theta)}{\int f(x|\tilde\theta) f(\tilde\theta) d\tilde\theta} \]
Bayes-Prinzip Alle Schlüsse werden nur aus der Posteriori-Verteilung gezogen
- Die Posteriori enthält alle Information über \(\theta\) nach der Beobachtung.
- Um so mehr Information die Daten über \(\theta\) enthalten, um so weniger unsicher sind wir über \(\theta\): Die Varianz der Posterioriverteilung ist kleiner, die Dichtefunktion konzentriert sich in einem (oder mehreren) Bereichen.
Was machen wir mit der Posteriori?
- Grundsätzlich gilt: Die komplette Posteriori ist wichtig. Wenn möglich, sollten wir diese komplett darstellen – bei hochdimensionalem Parameter \(\theta=(\theta_1,\ldots\theta_p)\) ist dies aber schwierig. Hier bietet es sich an, jeden Parameter einzeln anzuschauen; genauer: die marginale Posteriori von \(\theta_i|x\) zu betrachten.
Aus der Posteriori können wir dann folgende Schlüsse ziehen
- Punktschätzer (wir kennen den Posterior-Erwartungswert, außerdem gibt es den Maximum-a-Posteriori-Schätzer/Posteriori-Modus und den Posteriori-Median)
- Intervallschätzer
- Tests
- Modellvergleich
- Prädiktion