Calling Bullshit: wie man Schwachsinn erkennt

„Nichts von dem, was ihr im Laufe eures Studiums lernen werdet, wird euch auch nur im Geringsten von Nutzen sein“, sagte der Oxford-Philosophieprofessor John Alexander Smith 1914 zu seinen Studenten, „außer: Wenn ihr hart und intelligent arbeitet, solltet ihr in der Lage sein, zu erkennen, wann ein Mann Mist redet.“

Smith würde sich wahrscheinlich freuen, wenn er das neueste Buch von Carl Bergstrom und Jevin West gelesen hätte: Calling Bullshit.

Eine kleine Übung aus dem Buch zu Beginn: nehmen wir an, eine bestimmte Virusepidemie hätte eine Infektionsrate von 0,1% und jetzt versucht man, durch Schnelltests dem Infektionsgeschehen Herr zu werden. Frage: Wie hoch ist die Wahrscheinlichkeit, bei einem positiven Testergebnis wirklich am Virus erkrankt zu sein, wenn die Falsch-Positivrate des Tests 5% beträgt (also 95% aller positiven Testergebnisse haben auch wirklich das Virus)? Wir vereinfachen das Beispiel durch die Annahme, dass es keine falsch-negativen Tests gibt.

Spoiler: wenn Sie auf eine Wahrscheinlichkeit von größer 2% kommen, dann ist das Buch auch für Sie interessant. Keine Sorge, Bergstrom und West sagen, dass sogar die Mehrheit aller befragten Mediziner zu einem falschen Ergebnis kommt.

Aber jetzt zum Buch: Bergstrom und West behaupten, dass Menschen ziemlich gut darin sind, verbalen Schwachsinn („Bullshit“) zu erkennen. Die Mitglieder dieser Spezies redeten schließlich schon seit Jahrtausenden Blödsinn, und die Warnzeichen dafür seien bekannt. Bullshit in Form von Daten sei dagegen außerhalb wissenschaftlicher Kreise relativ neu. Multivariate Diagramme und komplexe Visualisierungen würden heute, wo Smartphones und andere Geräte zum Sammeln von Informationen die Anhäufung von Big Data beschleunigt haben, routinemäßig der breiten Öffentlichkeit präsentiert. Während Daten auf der einen Seite genutzt werden könnten, um bemerkenswert tiefe und einprägsame Geschichten zu erzählen, so Bergstrom, könnten sie auf der anderen Seite durch ihre scheinbare Raffinesse und Präzision effektiv eine Menge Bullshit verschleiern. Aus urheberrechtlichen Gründen können wir in diesem Beitrag keine der Grafiken aus dem Buch zeigen, aber sie sind beeindruckend. vor allem darin, wie sie die Wahrheit verdrehen und eine alternative Realität erzählen können, ohne dass die zugrundeliegenden Daten falsch sind.

Die Autoren sind der Meinung, dass man für die Entlarvung von Daten, egal ob groß oder klein, keinen Abschluss in Statistik braucht, sondern nur einen gesunden Menschenverstand und ein paar Denkgewohnheiten. „Man muss nicht alle Zahnräder in einer Blackbox verstehen, um das, was einem erzählt wird, zu bewerten“.

Hier einige ihrer Insights:

• „Bullshitter“ unterscheiden sich von Lügnern, und man muss beide im Auge behalten. Der Lügner kennt die Wahrheit und führt andere von ihr weg; der Bullshitter kennt die Wahrheit entweder nicht oder sie ist ihm egal, und er ist vor allem daran interessiert, seine Vorteile zu zeigen.
• Wenn Sie auf eine Information stoßen, egal in welcher Form, fragen Sie: „Wer erzählt mir das? Woher weiß er oder sie das? Was versucht er oder sie, mir zu verkaufen?“ Wenn Sie diese Frage in einem Autohaus stellen würden, schlug West den Studenten vor, sollten Sie sie auch online stellen.
• Wenn eine datenbasierte Behauptung zu gut erscheint, um wahr zu sein, ist sie es wahrscheinlich auch. Schlussfolgerungen, die Ihre persönlichen Meinungen oder Erfahrungen dramatisch bestätigen, sollten besonders verdächtig sein.
• Verwenden Sie Enrico Fermis Techniken zur Schätzung, um die Plausibilität von datenbasierten Behauptungen zu überprüfen. Fermi, der italienische Physiker, der die erste kontrollierte, selbsterhaltende nukleare Kettenreaktion erzeugte, war auch für seine unheimlich genauen Annäherungen bekannt, die er durch das Ersetzen jeder Variable in einem Problem durch eine vernünftige Annahme machte. Im Juli 1945, als Fermi den Trinity-Test in der Wüste von New Mexico beobachtete, beobachtete er die Wirkung der Explosion auf kleine, herabfallende Papierstücke – und nutzte diese Messung, um die Stärke der Explosion bis auf eine Größenordnung genau abzuschätzen.
• Achten Sie auf unfaire Vergleiche. Die Behauptung, dass viel mehr Menschen den Videostream der Trump-Inauguration als den der ersten Obama-Inauguration gesehen haben, verkennt zum Beispiel die weitaus größere Verfügbarkeit von Streaming-Videos im Jahr 2017.
• Denken Sie daran, dass Korrelation nicht gleichbedeutend mit Kausalität ist. Eine Korrelation zwischen zwei Variablen (Eiscremekonsum und Haiattacken) kann durchaus auf eine dritte Variable (Sommerwetter) zurückzuführen sein. Heutzutage entstehen Scheinkorrelationen oft durch Data Mining, der zunehmend verbreiteten Praxis, große Mengen an Informationen nach möglichen Zusammenhängen zu durchforsten. Zum Beispiel gibt es eine statistisch signifikante – aber hoffentlich bedeutungslose – Beziehung zwischen der jährlichen Scheidungsrate in Maine und dem jährlichen Pro-Kopf-Verbrauch von Margarine in den USA.
• Hüten Sie sich vor Big Data-Hybris. Das Google-Projekt „Flu Trends“, das mit viel Tamtam behauptete, saisonale Grippeausbrüche vorhersagen zu können, indem es die Suchanfragen der Nutzer nach grippebezogenen Begriffen verfolgte, erwies sich als weniger zuverlässiger Prädiktor für Ausbrüche als ein einfaches Modell der lokalen Temperaturen. (Ein Problem war, dass Googles Algorithmus durch bedeutungslose Korrelationen getäuscht wurde – zum Beispiel zwischen Grippeausbrüchen und High-School-Basketballsaisons, die beide im Winter stattfinden.) Wie bei allen datenbasierten Behauptungen gilt: Wenn die Fähigkeiten eines Algorithmus zu gut klingen, um wahr zu sein, sind sie es wahrscheinlich auch.
• Bedenken Sie, dass Maschinen rassistisch (oder sexistisch oder anderweitig voreingenommen) sein können. Computermodelle, die entwickelt wurden, um individuelles kriminelles Verhalten vorherzusagen, haben eine Voreingenommenheit gegenüber Minderheiten gezeigt, möglicherweise weil die Daten, die zum „Trainieren“ ihrer Algorithmen verwendet wurden, bestehende kulturelle Vorurteile widerspiegeln. Maschinen sind genauso fehlbar wie die Menschen, die sie programmieren – und sie können nicht dazu gebracht werden, sich zu bessern.

Eine besonderer Lesegenuss ist Kapitel 8 des Buches mit der Überschrift „Calling Bullshit on Big Data“. Hier analysieren die Autoren, wie Maschinen denken und wie KI zu ihren Entscheidungsverfahren kommt und zeigen an konkreten Beispielen, wie zum Beispiel KI Gesichtserkennung funktioniert (und scheitert). Unter anderem, warum die derzeit beste KI einen Husky für einen Wolf hält:

Denken Sie an das Bullshit-Asymmetrie-Prinzip, das der italienische Softwareentwickler Alberto Brandolini 2013 formulierte: Die Energie, die benötigt wird, um Bullshit zu widerlegen, ist um eine Größenordnung größer als die, die benötigt wird, um ihn zu produzieren. Oder, wie Jonathan Swift es 1710 formulierte: „Die Lüge fliegt, und die Wahrheit humpelt hinterher“.

Notes:

Das Buch kann man natürlich auch in lokalen Büchereien bestellen, zum Beispiel hier.

Die Zeitschrift New Yorker hat einen interessanten Artikel über die Autoren geschrieben. Den gibt’s hier.