MCMC
Gibbs-Sampler
Gegeben seien binomialverteilte Daten \(X\sim B(n,\pi)\) mit Beta-Priori \(\pi\sim Beta(a,b)\) (vgl. Billardbeispiel).
Die Posteriori-Prädiktive Verteilung einer neuen Beobachtung \(Y\) ist die Beta-Binomial-Verteilung. Diese erhält man, indem man über die gemeinsame Dichte \(f(y,\pi|x)\) integriert: \(f(y|x)=\int f(y,\pi|x) d\pi\).
Alternativ kann man einen Gibbs-Sampler verwenden, um aus der gemeinsame Dichte von \(Y\) und \(\pi\) zu ziehen. Betrachtet man nur die Ziehungen von \(Y\), sind diese Ziehungen aus der marginalen Dichte \(f(y|\pi)\).
Es gilt \(Y\sim B(m,\pi)\) und \(\pi\sim Beta(\tilde{a},\tilde{b})\) (Posteriori). Dabei ist \(m\) die Anzahl von neuen Versuchen, \(\tilde{a}\) und \(\tilde{b}\) die Posteriori-Parameter:
\[ \begin{eqnarray} f(y,\pi|x) &=& f(y|\pi)p(\pi|x)\\ &=& {y\choose m}\pi^y(1-\pi)^{m-y} \frac{1}{B(a,b)} \pi^{\tilde{a}-1}(1-\pi)^{\tilde{b}-1} \end{eqnarray} \]
Wie lautet hier die vollständig bedingte Dichte \(f(\pi|x,y)\)?
Wie lautet hier die vollständig bedingte Dichte \(f(y|x,\pi)\)?
Beispiel für \(m=10\), \(\tilde{a}=25\) und \(\tilde{b}=75\):
m<-10
y<-5
pi<-0.25
for (i in 1:1000)
{
y<-c(y,rbinom(1,m,pi[i]))
pi<-c(pi,rbeta(1,25+y[i+1],75+m-y))
}
plot(y, type="l")
barplot(table(y))
JAGS
Gegeben sei folgendes JAGS-Modell:
model <- "model{
x ~ dbinom(pi, n)
pi ~ dbeta(1,1)
}"
Hier sind die Ergebnisse:
## Compiling model graph
## Resolving undeclared variables
## Allocating nodes
## Graph information:
## Observed stochastic nodes: 1
## Unobserved stochastic nodes: 1
## Total graph size: 4
##
## Initializing model
##
## Iterations = 1001:2000
## Thinning interval = 1
## Number of chains = 1
## Sample size per chain = 1000
##
## 1. Empirical mean and standard deviation for each variable,
## plus standard error of the mean:
##
## Mean SD Naive SE Time-series SE
## 0.0255289 0.0048947 0.0001548 0.0002018
##
## 2. Quantiles for each variable:
##
## 2.5% 25% 50% 75% 97.5%
## 0.01672 0.02209 0.02523 0.02861 0.03606
Die Hypothese war hier, dass \(\pi\) größer als 0.05 ist.