Anfang des Jahres haben Fitness-Studios Hochkonjunktur, den guten Vorsätzen gedankt. Anscheinend der richtige Zeitpunkt für die Medien das Thema Doping in Fitness-Studios anzusprechen. Neue Informationen? Keine. Daher gilt das bereits 
Erwähnte. Zusammengefasst: Die Datenlage ist dürftig (nur wenig aussagekräftige Studien), die Definition (Stoffe, Einnahmedauer, usw.) unklar, der Fokus auf Fitness-Studios überholt (jeder Freizeitsportler kann im Internet Power-Pillen ohne den einschlägigen Studio-Doping-Dealer bekommen).
Related Posts
eHealth in der Arztpraxis: Der Nutzen hängt von der Management-Qualität ab
eHealth für eine problemlose(re) und patientenorientiertere Praxisarbeit
Der Begriff eHealth bezeichnet bei einer Fokussierung auf den ambulanten Sektor eine Gesamtheit von Leistungen, Geräten und Services, die die Arbeit von Arztpraxen leichter, einfacher, schneller, zugleich auch detaillierter, intensiver und vor allem patientenorientierter machen sollen. Die Ausblicke, die eHealth-Anbieter niedergelassenen Ärzten im Hinblick auf den Einsatz ihrer […]
Statistische Signifikanz (p-Wert) in Studien (mit Simulator)
Was bedeutet signifikant? Was bedeutet statistisch signifikant? Was bedeutend der statistische p-Wert? Warum wird der p-Wert eingesetzt?
Statistik ist ein wesentlicher Teil empirischer, wissenschaftlicher Studien. Kenntnisse in Statistik sind notwendig.
Ich hatte einmal etwas Statistik, doch das ist schon länger her. Zur Auffrischung und zum Erklären habe ich diesen Artikel mit einem kleinen Statistik-Simulator geschrieben. Der Simulator soll zum Ausprobieren animieren. Beim Artikel stand nicht die mathematische Präzision im Vordergrund, sondern das intuitive Verständnis.
Die mathematischen Symbole und der Simulator werden dynamischen (mit JavaScript) erstellt. Aus diesem Grund wird der Artikel in RSS-Feeds und versandten E-Mails nicht vollständig angezeigt und ausführbar sein. Der Simulator funktioniert im Web-Browser.
Münz-Beispiel
Der Simulator stellt ein kleines Beispiel dar. Wir simulieren eine Münze. $0$ ist Kopf. $1$ ist Zahl. Die Stichprobe (Beobachtung, Datenerhebung) besteht aus $n$ Würfen.
Wir können uns nun fragen, ob die Münze fair ist, ob Kopf und Zahl gleich wahrscheinlich sind oder ob eine der beiden Seiten wahrscheinlicher ist. Ähnlich der Frage, ob Behandlungserfolge zufällig sind oder auf die Wirkung der Behandlung zurückgehen.
Statistische Tests
Bei Stichproben aus Datenerhebungen stellt sich die Frage, ob die Stichprobe «ein Muster» zeigt oder, ob die Stichprobe im Rahmen des Zufalls ist. Um diese Frage zu beantworten gibt es statistische Tests. Je nach Problemfeld und erhobenen Daten kommen verschiedene Tests zum Einsatz.
Mathematik ist eine Sprache und ein Werkzeug. Um das Problem statistisch bearbeiten zu können, müssen wir es übersetzen. Um die spätere Bearbeitung zu erleichtern wird es in eine bestimmte Form gebracht.
Die zu überprüfende Hypothese, dass Kopf und Zahl gleich wahrscheinlich sind, wird als Nullhypothese $H_0$ bezeichnet. Die gegenteilige Hypothese wird als Alternativhypothese $H_1$ bezeichnet.
$H_0$: Die Wahrscheinlichkeit $p$ für Kopf ist gleich der Wahrscheinlichkeit für Zahl, oder formal $p = 1/2$.
$H_1$: Die Wahrscheinlichkeiten sind unterschiedlich. Es gilt also: $p \ne 1/2$.
Ja/Nein, $0/1$ Experimente sind binominalverteilt. Sie gehorchen der Binominalverteilung.
Im statistischen Test wird nun geprüft wie wahrscheinlich eine Stichprobe bei einer Binominalverteilung ist. Es wird der p-Wert der Stichprobe bestimmt. Ein zuvor festgelegter Signifikanzschwellwert $\alpha$, typischerweise $0.05$, sagt ab welchem p-Wert die Nullhypothese verworfen wird. Falls die Wahrscheinlichkeit der Stichprobe kleiner als dieser Signifikanzschwellwert ist, wird die Nullhypothese verworfen und die Alternativhypothese angenommen.
Kompakter geschrieben:
$H_0$: $p = p_0$
$H_1$: $p \ne p_0$ (bei zweiseitiger Fragestellung)
Unter der Nullhypothese ist die Stichprobe binomialverteilt mit dem Erwartungswert $n p_0$.
Es gibt verschiedene statistische Tests um binominalverteilte Stichproben zu prüfen.
- Binominaltest für eine Stichprobe
- Binominaltestnäherung für eine hinreichend grosse Stichprobengrösse
- Chi2-Test für eine Stichprobe mit einem 2-fach gestuften Merkmal
Simulator
Ich habe für die oben beschriebenes Münzbeispiel einen Simulator geschrieben. $0$ ist Kopf, $1$ ist Zahl. $p_0$ ist die gegebene Wahrscheinlichkeit für Kopf. Diesen Wert wollen wir statistisch überprüfen. Im Simulator kann $p_0$ mit einem Schieberegler eingestellt werden.
Die Grösse einer Stichprobe kann mit dem Schieberegler $n$ eingestellt werden. Eine Stichprobe entspricht einem Experiment. Dies könnte in der Realität einer Studie entsprechen.
Im Simulator ist es leicht viele Wiederholungen des Experimentes zu machen und viele Stichproben auswerten zu können.
Mit dem Simulator kann gespielt und intuitiv ausprobiert werden.
Interessante Szenarien sind:
- Wie viele falsche signifikante Ergebnisse gibt es? Wie häufig wird die Nullhypothese verworfen bei $p_0 = 1/2$, also eine fairer Münze, wo die Nullhypothese gilt? (Mit Parameter Anzahl Läufe $m$ spielen.)
- Wie abhängig ist die Anzahl signifikanter Ergebnisse von der Stichprobengrösse? (Mit Parameter $n$ spielen, beispielsweise $n = 40$ oder $n = 100$.)
- Wie unfair muss eine Münze sein, damit die Nullhypothese verworfen wird, also ein signifikantes Ergebnis erzielt wird. ($p_0$ auf $0.51$, $0.6$ und $0.7$ setzen). Wie aggressiv wird $H_0$ verworfen?
- Gleichzeitig kann der Einfluss der Stichprobengrösse untersucht werden. (Mit Parameter $n$ spielen, beispielsweise $n = 40$ oder $100$.)
Viel Spass beim Simulieren!
Beobachtungen
Wir sehen, dass für eine recht unfaire Münze (Bsp. $p_0 = 0.66$) genügen schon wenige Stichproben (Bsp. $n = 20$), um eine statistisch zuverlässige Aussage mit tiefem p-Wert zu erhalten. (Kontrolle mit $m = 100$).
Umgekehrt kann für eine kleine Unfairness (Bsp. $p_0 = 0.51$) mit einer grossen Stichprobe (Bsp. $n = 1000$) ein signifikantes Ergebnis mit (p-Wert $
Die statistische Signifikanz sagt nichts über die Relevanz eines Ergebnisses. Die Signifikanz bzw. Relevanz kann nicht von der statistischen Signifikanz abgeleitet werden. Die statistische Signifikanz gibt nur eine Antwort, ob ein Resultat zufällig oder überzufällig ist.
Da es sich um ein mathematisches Modell handelt, könnte man sich für $0$ auch eine Geburt eines Knaben denken und für $1$ die Geburt eines Mädchens. Das wird mit diesem $0/1$ Modell genauso abgebildet. Gibt es statistisch mehr Geburten eines Geschlechts? Mehr Knaben, mehr Mädchen?
Literaturangaben
Für die Erstellung dieses Artikels habe ich Wikipedia (p-Wert, Binomialtest, Chi-Quadrat) und das Buch Basiswissen Medizinische Statistik, Christel Weiß, 5., überarbeitete Auflage. Springer, 2010 benutzt.
Quellcode
Im Sinne von Open Source ist hier der Simulator abrufbar: p-Wert 1 Stichproben Simulator.js
Als Statistik-Hilfsprogramm habe ich jstat verwendet. Die wunderschöne mathematische Darstellung erstelle ich mit MathJAX. Die Simulatorbenutzeroberfläche habe ich mit jQuery und jQuery UI gemacht.
Ausblick
Im vorliegenden Simulator habe ich den einfachst möglichen Simulator erstellt. Kopf/Zahl werden mit $0/1$ abgebildet. Das Prinzip kann demonstriert werden. Auf die Thematik von ein- und zweiseitigen Tests bin ich nicht eingegangen.
Der Simulator kann noch erweitert werden:
- Wie in klinischen Studien üblich, kann eine Kontrollgruppe (z.B. mit Placebo) einbezogen werden.
- Die Statistik einer echten, grossen Studie könnte nachgebildet und simuliert werden.1
Bei Zeit und Lust werde ich mich daran machen.
Fazit
Der p-Wert von statistischen Tests gibt an wie wahrscheinlich eine Stichprobe (Experiment, Versuch, …) unter Annahme einer Verteilung ist. Er zeigt, ob eine Stichprobe zufällig oder überzufällig ist. Die statistische Signifikanz sagt nichts über die (nicht-statistische) Signifikanz. In anderen Worten, die statistische Signifikanz sagt nicht wie relevant eine Ergebnis ist.
-
Die Nachbildung einer echten wissenschaftlichen Studie ist möglich, da in der Wissenschaft die Methoden angegeben werden. Also auch, welche statistischen Verfahren benutzt wurden. ↩
Frage (Update 10)
Bin ich der einzige, der die gestrige ARD-Dokumentation über die von der bösen Pharmaindustrie seit 20 Jahren verhinderte rosafarbene Vitamin-B12-Salbe namens “Regividerm”, die Neurodermitis zu “heilen” in der Lage ist, spontan für einen aberwitzigen PR-Stunt erster Güte hält?
Hier der Link zur Sendung.
Die Süddeutsche Zeitung glaubt die Geschichte.
Fefe, unumstrittener Experte für Verschwörungen jeglicher Art, glaubt sie auch.
Die Home-Page des Herstellers: www.regividerm.de
Nach der Ankündigung des Dokumentarfilms „Heilung unerwünscht – Wie Pharmakonzerne ein Medikament verhindern“ , der am Montag, den 19.10.2009 um 21.00 Uhr in der ARD gesendet wird, ist ein großes Interesse an unserem Projekt „Regividerm® Salbe“ entstanden.
Wir haben uns deshalb gegen alle Widerstände entschlossen, Regividerm® Salbe selbst zu produzieren und hoffen, damit schon bald den Betroffenen der großen Zivilisationskrankheiten Neurodermitis und Psoriasis (Schuppenflechte) wirksam und nebenwirkungsarm helfen zu können!
Update: Mehr über die Hintergründe gibt es in einem gut 5 Jahre alten Artikel der Boocompany.
Update 2: Vielleicht fehlt ja dem Autor auch ein wenig Abstand zu seiner Geschichte:
Update 3: Martens’ Rezeptbuch zur Doku erreicht Platz 5 der Amazon-Bestsellerliste.
Update 4, 14:30: Platz 3. Herta Müller ist gepackt. Da geht noch was.
Update 5, 17:45: Wer das Rezeptbuch noch nicht bestellt hat, kann sich auch gleich die fertig zusammengerührte Wundersalbe holen. Das ging ja dann doch erstaunlich fix, wenn man das resignierte Gejammer im Film noch vor Augen hat.
Update 6. 18:05: Die Süddeutsche Zeitung bringt einen weiteren Artikel und hat noch nicht Lunte gerochen:
Ludwig F. würde sich dennoch freuen, wenn ein Pharmaunternehmen das Mittel vertreibt. “Wenn ich 40 Jahre alt bin”, sagt der 26-Jährige, “will ich einen Hammer wie Metrothrexat nicht mehr nehmen müssen.”
So lange wird er jedenfalls nicht mehr auf Regividerm warten müssen, dem Mann kann geholfen werden. Siehe Update 5.
Update 7: Ich habe ja schon so manche Markteinführung von fragwürdigen Medikamenten und Medizinprodukten verfolgt. Aber diese Geschichte hier hätte man nicht besser inszenieren können. Allein das Timing ist schon ein Meisterstück.
Update 8: Meine absolute Lieblingsstelle im Film ist übrigens ein Zitat von Professor Peter Altmeyer, einem der verantwortlichen Wissenschaftler der beiden bislang bekanntgewordenen Regividerm-Studien (bei ca. 11:25):
Doppelblind können Sie das nicht machen, weil das rosa ist.
Update 9: Hier hat sich jemand die beiden rosabedingt unverblindeten Studien genauer angesehen und ist nicht überzeugt.
Update 10: Die Süddeutsche Zeitung freut sich jetzt in ihrem dritten ahnungslosen Artikel mit uns, dass Regividerm überraschenderweise doch nicht erst in 14 Jahren zu haben sein wird.
Der TV-Beitrag über ein von den Pharmafirmen ignoriertes Medikament gegen Neurodermitis und Schuppenflechte hat offenbar Wirkung gezeigt. Das Schweizer Unternehmen Mavena Health Care sagte zu, die Creme “Regividerm B12 Salbe” in Kürze in Deutschland zu vertreiben.
TV wirkt.