{"id":184,"date":"2012-11-19T12:57:36","date_gmt":"2012-11-19T12:57:36","guid":{"rendered":"http:\/\/georg-hosoya.de\/wordpress\/?p=184"},"modified":"2012-11-22T14:47:02","modified_gmt":"2012-11-22T14:47:02","slug":"der-t-test-fur-unabhangige-stichproben-als-glm-und-pgm","status":"publish","type":"post","link":"https:\/\/www.georg-hosoya.de\/wordpress\/?p=184","title":{"rendered":"Der t-Test f\u00fcr unabh\u00e4ngige Stichproben als GLM und PGM"},"content":{"rendered":"

The proof of the pudding is in the eating.<\/em> Von daher m\u00f6chte ich an einem kleinen Beispiel zeigen, wie Generalisierte Lineare Modelle (GLMs), Probabilistische Graphische Modelle (PGMs) und Bayesianische Methoden praktisch zusammenspielen k\u00f6nnen. Was bietet sich besseres an, als der t-Test f\u00fcr unabh\u00e4ngige Stichproben? Um eine gewisse Vergleichbarkeit zu gew\u00e4hrleisten, beziehe ich mich auf das Beispiel zum t-Test in Bortz, Statistik, 6. Auflage (Tabelle 5.1., Seite 142). Zur praktischen Demonstration verwende ich die Software R<\/a> und OpenBUGS<\/a>. Die verwendeten Dateien finden sich hier<\/a>.<\/p>\n

Der t-Test f\u00fcr unabh\u00e4ngige Stichproben als GLM<\/h3>\n

Den meisten d\u00fcrfte bekannt sein, dass die Fragestellung hinter dem t-Test sich auch mit der multiplen Regression, bzw. dem Allgemeinen Linearen Modell (ALM) bearbeiten l\u00e4sst. Im Beispieldatensatz aus dem Bortz geht es darum zu pr\u00fcfen, ob sich M\u00e4nner und Frauen hinsichlich ihrer Belastbarkeit unterscheiden. Mit R geht das ganz einfach mit der Funktion glm()<\/code>.<\/p>\n

\r\n# t-test_ua.R\r\n\r\n# Laden der Daten\r\ndata<-read.table(\"B_5_1.csv\", sep=\",\", head=T)\r\n\r\n# Anpassung eines GLM mit Identit\u00e4ts-Link-Funktion\r\nm1<-glm(belast~geschl, data=data, family=\"gaussian\")\r\nsummary(m1)\r\n<\/pre>\n
Es wird ein GLM mit Identit\u00e4ts-Link-Funktion an die Daten angepasst. R<\/code> liefert folgenden Output:<\/p>\n
\r\nCall:\r\nglm(formula = belast ~ geschl, family = \"gaussian\", data = data)\r\n\r\nDeviance Residuals: \r\n    Min       1Q   Median       3Q      Max  \r\n-18.242   -9.732   -2.221    9.289   25.800  \r\n\r\nCoefficients:\r\n            Estimate Std. Error t value Pr(>|t|)    \r\n(Intercept)  103.200      2.130  48.452   <2e-16 ***\r\ngeschlw        1.042      3.057   0.341    0.734    \r\n---\r\nSignif. codes:  0 \u2018***\u2019 0.001 \u2018**\u2019 0.01 \u2018*\u2019 0.05 \u2018.\u2019 0.1 \u2018 \u2019 1 \r\n\r\n(Dispersion parameter for gaussian family taken to be 158.7827)\r\n\r\n    Null deviance: 10498  on 67  degrees of freedom\r\nResidual deviance: 10480  on 66  degrees of freedom\r\nAIC: 541.54\r\n\r\nNumber of Fisher Scoring iterations: 2\r\n<\/pre>\n
Der mit Intercept<\/code> bezeichnete Sch\u00e4tzer ist der vorhergesagte Mittelwert der Belastbarkeit der M\u00e4nner und der Sch\u00e4tzer geschlw<\/code> ist der Kontrast der Frauen zu dieser Baseline. Das bedeutet, dass Frauen einen um 1.042 Punkte h\u00f6heren vorhergesagten Wert auf der Belastbarkeits-Skala aufweisen. Allerdings ist anhand des t-Werts von 0.341 deutlich ersichtlich, dass dieser Unterschied statistisch nicht signifikant ist. Dieses Ergebnis deckt sich im Wesentlichen mit dem Ergebnis im Bortz, wo ein t-Wert von -0.33 verzeichnet ist.<\/p>\n
Der t-Test f\u00fcr unabh\u00e4ngige Stichproben als PGM<\/h3>\n
Das eben verwendete GLM l\u00e4sst sich auch als grafisches Modell darstellen. Abbildung 1 zeigt die grafische Repr\u00e4sentation.<\/p>\n
\"t-Test<\/a>
\nAbbildung 1: Das GLM f\u00fcr den t-Test f\u00fcr unabh\u00e4ngige Stichproben als PGM<\/em><\/p>\n
y[i]<\/code> bezeichnet die Werte der abh\u00e4ngigen Variable und x1[i]<\/code> und x2[i]<\/code> bezeichnen die Werte der jeweiligen Pr\u00e4diktoren in der Design-Matrix. mu[i]<\/code> ist der lineare Pr\u00e4diktor des Modells, der nach Ma\u00dfgabe des zugrundeliegenden Designs linear zerlegt wird. sigma.y<\/code> ist die Streuung der Residuen in der Population. Die Pfeile bezeichnen Ab\u00e4ngigkeiten zwischen den Knoten des Netzwerks. Der Rahmen (plate notation<\/em>) um die Knoten symbolisiert, dass \" n \" Beobachtungen vorliegen. Formal l\u00e4sst sich das Modell relativ einfach darstellen:<\/p>\n
\"<\/p>\n
Es wird also angenommen, dass die beobachteten Werte \" y_i \" einer Normalverteilung mit der Mittelwertsstruktur \" \mu_i \" und der Varianz \" \sigma_y^2 \" entstammen. Oder anders gesagt, es wird angenommen, dass die Residuen in der Population mit der Varianz \" \sigma_y^2 \" normal verteilt sind. Wenn die Dummy-Codierung f\u00fcr \" x_{1i} \" der Spezifikation einer Konstanten entspricht, handelt es sich also um nichts anderes, als um eine einfache lineare Regression in grafischer Darstellung.<\/p>\n
Bayesianische Bestimmung der Parameter<\/h3>\n
Die Parameter \" \beta_0 \", \" \beta_1 \" und die Varianz \" \sigma_y^2 \" m\u00fcssen aus den Daten gesch\u00e4tzt werden. Wie dies auf Bayesianische Art mit Hilfe der MCMC-Methode, R und OpenBUGS geschehen kann, sei kurz gezeigt. Zun\u00e4chst muss eine Datei mit der Modellspezifikation f\u00fcr OpenBUGS erstellt und gespeichert werden.<\/p>\n
\r\n# t-test_ua.txt\r\nmodel\r\n{\r\n  # Likelihood\r\n  for (i in 1:n)\r\n  {\r\n  y[i] ~ dnorm (mu[i], tau.y)\r\n  mu[i]<-beta0*X[i,1]+beta1*X[i,2]\r\n  }\r\n  # Prior-Distributions\r\n  beta0 ~ dnorm(0, 1.0E-6)\r\n  beta1 ~ dnorm(0, 1.0E-6)\r\n  tau.y <- pow(sigma.y, -2)\r\n  sigma.y ~ dunif (0, 1000)\r\n  # Cohen's delta\r\n  delta<-(beta1)\/sigma.y\r\n}\r\n<\/pre>\n
Die Spezifikation des Modells erfolgt im Abschnitt #Likelihood<\/code>. Anschlie\u00dfend werden die Prior-Verteilungen spezifiziert, die hier relativ uninformativ gehalten sind. Als besonderer Bonus wird die Posterior-Verteilung von Cohen's delta auf Basis des MCMC-Prozesses erzeugt.<\/p>\n
OpenBUGS wird durch das R-Skript angesteuert, das auch die Daten an OpenBUGS \u00fcbergibt.<\/p>\n
\r\n\r\nlibrary(R2OpenBUGS)\r\n# Vorbereitung der Daten zur \r\n# \u00dcbergabe an OpenBUGS\r\ny<-data$belast\r\nX<-model.matrix(m1)\r\nn<-length(y)\r\ndata<-list(\"y\",\"X\", \"n\")\r\n\r\n# Spezifikation der zu bestimmenden Parameter\r\nparameters<-c(\"beta0\", \"beta1\", \"sigma.y\", \"delta\")\r\n\r\n# \u00dcbergabe an OpenBUGS\r\noutput<-bugs(data, inits=NULL, parameters, model.file=\"t-test_ua.txt\",\r\n    n.chains=2, n.iter=5000, n.burnin=1000)\r\n\r\n# Ausgabe der Ergebnisse\r\nprint(output, digits=2)\r\n\r\n# Histogramm von beta1\r\nhist(beta1,100)\r\n# Histogramm von Cohen's delta\r\nhist(delta,100)\r\n<\/pre>\n
Um die Konvergenz des Markov-Prozesses zu \u00fcberpr\u00fcfen, kommen zwei Markov-Ketten zum Einsatz. Der Prozess durchl\u00e4uft 5000 Iterationen, wobei die Burn-In-Phase 1000 Iterationen betr\u00e4gt. Die Startwerte des Markov-Prozesses werden im Beispiel zuf\u00e4llig erzeugt.<\/p>\n
OpenBUGS liefert folgenden Output:<\/p>\n
Inference for Bugs model at \"t-test_ua.txt\", \r\nCurrent: 2 chains, each with 5000 iterations (first 1000 discarded)\r\nCumulative: n.sims = 8000 iterations saved\r\n              mean   sd   2.5%    25%    50%    75%  97.5% Rhat n.eff\r\nbeta0       103.25 2.14  99.06 101.80 103.20 104.70 107.40    1  8000\r\nbeta1         0.99 3.07  -5.06  -1.02   0.97   2.98   7.06    1  8000\r\nsigma.y      12.84 1.15  10.82  12.03  12.75  13.55  15.35    1  8000\r\ndelta         0.08 0.24  -0.39  -0.08   0.08   0.23   0.55    1  8000\r\ndeviance    538.62 2.55 535.80 536.80 538.00 539.70 545.00    1  4300\r\n\r\nFor each parameter, n.eff is a crude measure of effective sample size,\r\nand Rhat is the potential scale reduction factor (at convergence, Rhat=1).\r\n\r\nDIC info (using the rule, pD = Dbar-Dhat)\r\npD = 2.9 and DIC = 541.5\r\nDIC is an estimate of expected predictive error (lower deviance is better).<\/pre>\n
Von Interesse sind hier besonders die Mittelwerte und Perzentile der Posterior-Verteilungen und Rhat<\/code>. Der Sch\u00e4tzer f\u00fcr die mittlere Belastbarkeit der M\u00e4nner betr\u00e4gt 103.25 und der gesch\u00e4tzte Kontrast der Frauen zum Mittelwert der M\u00e4nner betr\u00e4gt 0.99. Das 95%-Kredibilit\u00e4ts-Intervall f\u00fcr \"\beta_1 \" liegt zwischen -5.06 und 7.06. Damit ist der Unterschied zwischen M\u00e4nnern und Frauen statistisch nicht signifikant. Der Sch\u00e4tzer f\u00fcr Cohen's delta betr\u00e4gt 0.08. Dieses Ergebnis ist mit dem Resultat im Bortz kongruent. Zudem wurde das 95%-Kredibilit\u00e4ts-Intervall f\u00fcr Cohen's delta ermittelt. Dieses Intervall liegt zwischen -0.39 und 0.55, was ebenfalls darauf hindeutet, dass der Unterschied zwischen M\u00e4nnern und Frauen hinsichtlich der Belastbarkeit statistisch nicht signifikant ist. Die Statistik Rhat<\/code> zeigt an, dass die zwei eingesetzten Markov-Ketten gegen die Posterior-Verteilung der Parameter konvergieren.<\/p>\n
Was auff\u00e4llt ist, dass in der Ausgabe keine p-Werte vorkommen. Das ist nicht weiter tragisch, da die Inferenz auf Basis der Kredibilit\u00e4ts-Intervalle geschieht. Wer aber dennoch nicht auf p-Werte verzichten m\u00f6chte, kann diese einfach aus den Posterior-Verteilungen berechnen. Zum Abschluss sei hier noch das Histogramm der Posterior-Verteilung von Cohen's delta dargestellt.<\/p>\n
\"\"<\/a>
\nAbbildung 2: Posterior-Verteilung von Cohen's delta<\/em><\/p>\n
Das war zugegebener Ma\u00dfen ziemlich viel Information auf einmal und Anspruch dieser Blog-Post kann es nicht sein, die Hintergr\u00fcnde der hier verwendeten Verfahren umfassend zu erkl\u00e4ren. Den interessierten Leser oder die interessierte Leserin verweise ich auf die Literatur. Mir war es jedoch wichtig, einmal an einem einfachen Beispiel zu zeigen, wie GLMs, PGMs und Bayesianische Methoden ineinandergreifen k\u00f6nnen. <\/p>\n
Als \u00dcbung empfehle ich zu \u00fcberlegen, wie das grafische Modell und der OpenBUGS-Code im Falle der multiplen Regression aussehen m\u00fcssten. Bonuspunkte gibt es f\u00fcr die Erzeugung der Posterior-Verteilung f\u00fcr den Determinations-Koeffizienten, bzw. \"\eta^2\". Interessant w\u00e4re auch ein systematischer Vergleich der hier dargestellten Methode zur Erzeugung von Kredibilit\u00e4ts-Intervallen f\u00fcr Effektst\u00e4rke-Indices mit der \u201efrequentistischen\" Methode zur Erzeugung von Konfidenz-Intervallen auf Basis von nichtzentralen Verteilungen.  <\/p>\n","protected":false},"excerpt":{"rendered":"
The proof of the pudding is in the eating. Von daher m\u00f6chte ich an einem kleinen Beispiel zeigen, wie Generalisierte Lineare Modelle (GLMs), Probabilistische Graphische Modelle (PGMs) und Bayesianische Methoden praktisch zusammenspielen k\u00f6nnen. Was bietet sich besseres an, als der … Continue reading →<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[1],"tags":[],"_links":{"self":[{"href":"https:\/\/www.georg-hosoya.de\/wordpress\/index.php?rest_route=\/wp\/v2\/posts\/184"}],"collection":[{"href":"https:\/\/www.georg-hosoya.de\/wordpress\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.georg-hosoya.de\/wordpress\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.georg-hosoya.de\/wordpress\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.georg-hosoya.de\/wordpress\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=184"}],"version-history":[{"count":183,"href":"https:\/\/www.georg-hosoya.de\/wordpress\/index.php?rest_route=\/wp\/v2\/posts\/184\/revisions"}],"predecessor-version":[{"id":408,"href":"https:\/\/www.georg-hosoya.de\/wordpress\/index.php?rest_route=\/wp\/v2\/posts\/184\/revisions\/408"}],"wp:attachment":[{"href":"https:\/\/www.georg-hosoya.de\/wordpress\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=184"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.georg-hosoya.de\/wordpress\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=184"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.georg-hosoya.de\/wordpress\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=184"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}