Umgang mit Statistiken Alles Lüge oder was?
Statistiken haben für viele den Nimbus der Exaktheit und Neutralität. Andere halten sich an den Spruch, dass sie keiner Statistik glauben, die sie nicht selbst gefälscht haben. Wie so oft liegt die Wahrheit in der Mitte.
Lange Zahlenreihen, Tabellen, Balken-, Torten-, Flächen- und Liniendiagramme: Statistiken scheinen bestimmte Aspekte der Wirklichkeit unbestechlich und exakt darzustellen. Viele wissen jedoch bereits, wie man bei der grafischen Darstellung und bei der Interpretation einer Statistik manipulieren kann.
Doch oft liegt das Problem schon tiefer. Wie valide eine Statistik und die auf ihrer Basis getroffenen Aussagen sein können, entscheidet sich bereits bei der Erhebung der Daten.
Die Datenbasis - viel hilft viel, ist aber nicht alles
Eine einfache Grundregel: Je kleiner die Stichprobe ist, desto zufälliger und fehleranfälliger ist das Ergebnis. Daher ist jede Statistik, bei der die Anzahl der untersuchten Fälle - die sogenannte Stichprobe - und das Auswahlverfahren nicht genannt werden, zunächst mit Vorsicht zu betrachten.
Seriöse Meinungsforschungsinstitute erheben für repräsentative Umfragen eine ausreichend große Stichprobe von Befragten, die in möglichst vielen Eigenschaften die Grundgesamtheit der Bevölkerung widerspiegeln. Beispielsweise befragt das Institut infratest dimap für den DeutschlandTrend regelmäßig rund 1500 Probanden. Das ergibt ein Stimmungsbild zum Erhebungszeitraum, jedoch keine Prognose. So sind auch langfristige Entwicklungen gut dokumentierbar.
Schwankungsbreite beachten!
Doch selbst bei rund 1000 Befragten können im Extremfall fünf Personen den Unterschied von einem Prozentpunkt ausmachen - was bei seriösen Umfragen durch die Schwankungsbreite ausgewiesen wird. Je kleiner der Anteil eines Merkmals an der Grundgesamtheit ist, umso größer ist die Fehleranfälligkeit.
Es ist aber nicht nur die Größe, sondern auch die Qualität und Methode der Stichprobe, die den Wert einer Statistik ausmachen. Ruft ein Medium auf, sich aktiv, zum Beispiel online oder per Telefon an einer eigenen Umfrage zu beteiligen, schränkt das den Kreis der Teilnehmer auf diejenigen unter den eigenen Rezipienten auf, die dazu in dem Moment bereit und in der Lage sind.
Kommen noch weitere Faktoren wie die Möglichkeit zur Mehrfachabstimmung, ein Gewinnversprechen oder die Pflicht, für die Abstimmung zu zahlen, hinzu, wird die Repräsentativität noch weiter eingeschränkt. Im Zeitalter der Social-Media-Kampagnen ist es zudem ein leichtes für interessierte Gruppen, durch Aufrufe an die eigenen Anhänger solche Umfragen zu manipulieren. Unter anderem aus diesem Grund verzichtet tagesschau.de mittlerweile auf Online-Umfragen.
Äpfel und Birnen
Natürlich bilden nicht nur die Daten aus Umfragen, sondern auch aus anderen Datenbeständen, zum Beispiel von Behörden oder wissenschaftlichen Erhebungen, die Basis von Statistiken. Um solche Daten seriös in eine Beziehung zu setzen, müssen sie sich auf die gleiche Stichprobe, die gleiche Zeit und die gleichen Faktoren beziehen - alles andere ist unseriös.
So stellte zu Jahresbeginn ein Facebook-Posting der AfD eine BKA-Statistik infrage, laut der Zuwanderer weniger Straftaten begingen. Der angebliche Gegenbeweis: ein Anstieg der Anzahl nichtdeutscher Tatverdächtiger in dem Zeitraum. Hier liegen gleich zwei Fehler vor: So bezieht sich die BKA-Statistik auf Taten, nicht Tatverdächtige - vergleichbar wären diese nur, wenn jeder Tatverdächtiger genau einer Straftat verdächtig wäre. In Relation auf die Anzahl der Zuwanderer ging die Zahl der Straftaten tatsächlich zurück.
Zudem listet die BKA-Statistik aufgeklärte Fälle auf, während sich die AfD auf Tatverdächtige bezieht. Auch dies wäre nur vergleichbar, wenn sich jeder Tatverdacht bestätigt hätte.
Abhängigkeiten - direkt, indirekt oder zufällig?
Die Realität ist komplex - und zumeist reicht es nicht, lediglich zwei Faktoren zu betrachten. So ging laut einer Erhebung der Verkauf von heißem Kakao in einem Strandcafé zurück, wenn die Zahl der Besucher steigt. Paradox? Nur auf den ersten Blick. Der "unsichtbare" dritte Faktor ist das Wetter: Je wärmer und trockener es ist, umso mehr Menschen gehen an den Strand und besuchen das Café - und umso weniger von ihnen haben aber Lust, eine heiße Schokolade zu trinken.
Rechnet man den Faktor Temperatur mathematisch heraus, so stellt man fest, dass die Zahl der Besucher und der Kakao-Fans doch direkt voneinander abhängen: Zwar kommen weniger Gäste an kalten Tagen, diese freuen sich jedoch umso mehr auf ein Heißgetränk als auf ein Eis.
Solche Faktoren gibt es bei vielen Merkmalen. So ist es bei der Kriminalstatistik für bestimmte Bevölkerungsgruppen daher sinnvoll, die Ergebnisse in Relation zu anderen Faktoren wie Alter, Geschlecht und Familienstand setzen. Sind beispielsweise in der untersuchten Gruppe überproportional viele junge, ledige Männer vertreten, ist die Wahrscheinlichkeit höher, dass die Gruppe als Ganzes mehr Straftaten begeht als eine andere, die von der Zusammensetzung eher der Gesamtbevölkerung entspricht.
Zufälle gibt's...
Ein weiteres Beispiel: Je mehr Käse die Menschen pro Kopf zu sich nehmen, desto mehr von ihnen sterben, indem sie sich in Bettlaken verheddern - das ist ein mathematisch über zehn Jahre verifizierbarer Trend. Induzieren Molkereiprodukte gefährliche Albträume? Neigen Käseliebhaber zu potenziell gefährlichen Bettgarnituren? Nein. Es handelt sich um einen Zufall.
Der US-Blogger und Publizist Tyler Virgen hat neben diesem viele weitere solcher Beispiele zusammengetragen, bei denen offensichtlich nicht zusammenhängende Entwicklungen verdächtig parallel verlaufen. Wenn man nur lange genug sucht, findet man auch in beliebigen Daten scheinbare Übereinstimmungen.
Zusammengefasst: Eine hohe mathematische Korrelation ist ein starkes Indiz für eine Entsprechung in der Realität, aber längst kein Beweis. Nur zwei Eigenschaften von Daten zu vergleichen, ohne dabei weitere Faktoren zu betrachten, kann ebenfalls zu einem falschen Ergebnis führen, so plausibel dieses zunächst auch erscheinen mag.
Weitere Fehlerquellen
Neben systematischen Problemen bei der Auswahl der Probanden, den zu untersuchenden Faktoren und der mathematischen Auswertung gibt es noch eine Vielzahl weiterer möglicher Fehlerquellen. Beispielsweise können Umfragen, bei denen bestimmte Antwortmöglichkeiten fehlen oder die Frage ungenau, vielleicht sogar suggestiv gestellt wird, kaum ein seriöses Ergebnis hervorbringen.
Viele statistische Verfahren setzen zudem voraus, dass die Unterschiede der untersuchten Merkmale mathematisch exakt dargestellt werden. In der Realität ist das aber oft nicht der Fall - insbesondere, wenn man sich mit einer Notenskala oder einem Punktesystem behilft. Ein Beitrag, der beim Eurovision Song Contest zwölf Punkte erhält, ist jedoch nicht zwingend viermal so gut wie einer, der drei Punkte bekommt - genau das setzt das Auswertungssystem aber eigentlich voraus.
Trotz aller Fehler- und Manipulationsmöglichkeiten: Statistiken können ein wertvolles Mittel zur Meinungs- und Entscheidungsbildung sein - wenn man sie zu interpretieren weiß und die Umstände ihrer Entstehung kennt.