Rezension: Superforecasting: Die Kunst der richtigen Prognose
Je länger der Vorhersagezeitraum ist, desto schwieriger und ungenauer werden Vorhersagen. Ein Grund dafür findet sich in der Chaostheorie: Die Welt ist unglaublich komplex, und kleine Veränderungen können große Auswirkungen haben, wie das klassische Beispiel des „Schmetterlingseffekts“ zeigt: Dieser besagt, dass bereits der Flügelschlag eines Schmetterlings einen späteren Zustand so beeinflussen kann, dass irgendwo ein Tornado entsteht, den es ohne diese minimale Veränderung im Anfangszustand nicht gegeben hätte.
Das Buch weist auch darauf hin, dass bei einer großen Anzahl von Vorhersagen einige rein zufällig eintreffen werden. Personen, denen das gelingt, werden ihren Erfolg jedoch wahrscheinlich nicht konsequent wiederholen können. Und dennoch kann eine einzige erfolgreiche kühne Vorhersage jemanden ungerechtfertigt zum Experten erheben, trotz einer vorangehenden Historie ungenauer Prognosen.
Die meisten Vorhersagen sind sehr schlecht
In einer Zeit, die von Vorhersagen und Prognosen überflutet wird, zeigt dieses Buch eindrücklich, dass die meisten Vorhersagen im Kern fehlerhaft sind. Das betrifft fast alle Experten, die regelmäßige Prognosen abgeben, von Politikern und Ökonomen bis zu Beratern und Wissenschaftlern. Das große Problem ist, dass ihre Vorhersagen nie systematisch analysiert und bewertet werden. Eine der wenigen Ausnahmen sind Meteorologen – ihre Wettervorhersagen werden fortlaufend systematisch analysiert und verbessert.
Das gleicht ähnlichen Problemen, die andere wissenschaftliche Felder früher hatten. Zum Beispiel wurden die heute vorherrschenden randomisierten Kontrollstudien in der Medizin erst nach dem Zweiten Weltkrieg populär. Dabei werden die Testpersonen in zwei Gruppen aufgeteilt, von der eine das Medikament erhält und die andere ein Placebo. So lässt sich identifizieren, ob das Medikament wirklich Nutzen bringt. Bis zu diesem Zeitpunkt wurde die Wirksamkeit einer Behandlung primär mit Anekdoten, Fallberichten und Expertenmeinungen bewertet, was oft zu Medikamenten mit fehlender Wirksamkeit oder lange unerkannten Nebenwirkungen führte.
Die Autoren beschreiben die Hauptprobleme mit Vorhersagen, etwa ideologisch festgefahrene Experten, die versuchen, jedes Problem in ihr bevorzugtes Schema zu pressen und regelmäßig dem Bestätigungsfehler („Confirmation Bias“) erliegen. Das Buch hebt auch den oft übersehenen Einfluss versteckter Absichten hinter Vorhersagen hervor, etwa wenn diese zur Untermauerung politischer Ansichten oder für kommerzielle Interessen verwendet werden.
Darüber hinaus bevorzugen Medien kühne Vorhersagen mit absolutem Wahrheitsanspruch gegenüber nuancierten und wahrscheinlichkeitsbasierten Einschätzungen. Und nicht zuletzt verwenden die meisten Vorhersagen unspezifische Sprache, wodurch sie im Nachhinein leicht uminterpretiert werden können um auf das Ergebnis zu passen.
Messung von Vorhersagen
Vorhersagen können nur gemessen werden, wenn sie genau angeben, was passieren wird, einen klaren Zeitrahmen haben und mit quantifizierbaren Wahrscheinlichkeiten arbeiten, nicht mit unklaren Begriffen wie „wahrscheinlich“ oder „möglicherweise“.
Diese Vorhersagen können dann mit Methoden wie dem Brier-Score gemessen werden. Diese misst zwei Dinge: Das eine ist die Kalibrierung, also die Übereinstimmung von Vorhersagen mit tatsächlichen Ergebnissen. Wenn beispielsweise behauptet wird, dass ein Ereignis zu 70 Prozent eintreten wird, sollte das über mehrere gleichartige Vorhersagen hinweg etwa 70 Prozent der Zeit zutreffen. Das andere ist die Auflösung – also wie sicher die Vorhersage ist. Vorhersagen mit hohen Wahrscheinlichkeiten wie 90 Prozent werden dabei stärker gewichtet als jene im Mittelfeld, also knapp unter oder über 50 Prozent. Eine komplexere Variante der Brier-Score kann auch verwendet werden, um die Genauigkeit von Vorhersagen zu messen, die regelmäßig an neue Informationen angepasst werden, was der Optimalfall wäre: Die Welt verändert sich, und das Gleiche sollte auch mit Vorhersagen passieren.
Die für mich sehr ernüchternde Erkenntnis des Buches ist, dass die Vorhersagen der meisten Experten kaum besser sind als reiner Zufall – vergleichbar mit einem Schimpansen, der zufällig eine Vorhersage auswählt. Das macht deutlich, wie wichtig es ist, unsere Vorhersagemethoden zu verfeinern, da die meisten politischen und wirtschaftlichen Entscheidungen auf diesen Erwartungen über die Zukunft basieren.
Was macht „Superforecaster“ aus?
Nach dieser Einführung in die Wissenschaft von Vorhersagen konzentriert sich das Buch darauf, wie gute Vorhersagen getroffen werden. Dabei basieren die Autoren ihre Analysen auf Individuen, die konsequent bessere Vorhersagen treffen können als der Rest der Bevölkerung. Diese Superforecasters zeichnen sich durch eine Mischung aus analytischer Fähigkeit, kognitiver Flexibilität, Bescheidenheit, Selbstbewusstsein und einem unerschütterlichen Engagement für Präzision und Klarheit aus. Sie besitzen eine Wachstumsmentalität und verfeinern ihre Fähigkeiten ständig, indem sie offen für Feedback sind und Fehler in ihrem Urteilsvermögen identifizieren.
Die Autoren haben aber eine gute Nachricht für alle: Das sind alles erlernbare Fähigkeiten, man wird nicht als Superforecaster geboren. Eine gute Nachricht – ich werde persönlich definitiv versuchen, auf diesem Gebiet noch besser zu werden, da sich diese Fähigkeit in den meisten Bereichen des Lebens anwenden lässt.
Fähigkeiten eines Superforecasters
In erster Linie sind starke analytische Fähigkeiten entscheidend. Dazu gehört die Fähigkeit, Probleme in handhabbare Komponenten zu zerlegen und diese Lösungen zu einer Gesamtlösung zusammenzusetzen (bekannt als Fermi-Schätzung nach dem Nobelpreisträger Enrico Fermi). Das kann weiter verbessert werden, indem man konsequent verschiedene Perspektiven einbezieht.
Eine weitere Fähigkeit ist die Verwendung von Basisraten – also der Wahrscheinlichkeit des Problems in abstrahierter Form, um Vorhersagen auf einem evidenzbasierten Ausgangspunkt zu verankern. Wenn man sich beispielsweise fragt, wie hoch die Chance ist, dass eine spezifische Familie ein Haustier hat, sollte man mit der Wahrscheinlichkeit initial daran orientieren, wie viel Prozent der Gesamtbevölkerung ein Haustier haben. Diese Schätzung wird dann unter Einbeziehung der weiteren spezifischen Fakten zum Fall weiter verfeinert. Dabei ist es wichtig, wesentliche und irrelevante Informationen unterscheiden zu können, um übermäßige Korrekturen zu vermeiden.
Genauso wichtig ist es, die inhärente Unsicherheit in Vorhersagen anzuerkennen und kognitive Flexibilität zu bewahren. Das bedeutet, persönliche Überzeugungen und Annahmen infrage zu stellen, mögliche Fallstricke der Lösung zu antizipieren (sogenannte Pre-mortem-Analysen) und sich der Möglichkeit von extrem unwahrscheinlichen, aber sehr einflussreichen Ereignissen bewusst zu sein. Diese Events werden, basierend auf dem berühmten Buch von Nassim Taleb, als „schwarze Schwäne“ bezeichnet.
Darüber hinaus muss jeder Superforecaster ernsthaft gegensätzliche Standpunkte in Betracht ziehen und wachsam gegenüber persönlichen und kognitiven Vorurteilen sein, stets bestrebt, diese zu identifizieren und zu neutralisieren. Feedback und Evaluierungen nach einer Vorhersage helfen zukünftige Vorhersagen zu verbessern. Schließlich ist es von entscheidender Bedeutung, emotionale und identitätsbezogene Bindungen zu managen. Superforecaster müssen Meinungen, die mit der eigenen Identität verknüpft sind, entwirren und emotionale Investitionen überwachen, um objektive Vorhersagen zu gewährleisten.
Teamarbeit
Prognosen profitieren erheblich davon, wenn mehrere Personen das Problem angehen. Bereits die Verwendung des Durchschnitts der Vorhersagen mehrerer Personen kann die Qualität erheblich verbessern. Noch besser sind Teams, die vielfältige Perspektiven, Informationen und Meinungen miteinander teilen.
Dieser Vorteil schwindet jedoch, wenn Gruppendenken (das Fachwort dazu ist „group think“) vorherrscht, was der Fall ist, wenn die Gruppe abweichende Minderheitsmeinungen ignoriert und stattdessen die Mitglieder gegenseitig ihre vorgefertigte Meinung festigen. Das kann durch das Fördern von Kritik und anderen Meinungen innerhalb der Gruppe bekämpft werden. Ein interessantes Beispiel dafür ist die preußische Armee, die trotz ihres Rufs für strenge Disziplin eine tief verwurzelte Kultur des Infragestellens von Befehlen durch Untergebene während der Entscheidungsfindung hatte. Strenger Gehorsam setzte erst ein, wenn diese Entscheidungen anschließend ausgeführt wurden.
Empfehlung
Ich kann „Superforecasters“ wärmstens empfehlen, da es das dramatisch ignorierte Problem von schlechten, unverlässlichen Vorhersagen als Basis der meisten Entscheidungen in Politik und Wirtschaft sehr verständlich darstellt und umsetzbare Lösungen vorschlägt. Die Autoren bauen ihre Argumentation sehr sorgfältig auf, was manchen Lesern vielleicht ein wenig zu langatmig erscheinen mag.
Der Autor verweist mehrfach auf das „Good Judgment Project“, in dem alle im Buch erwähnten Prinzipien angewendet werden. Positiv hervorzuheben ist, dass der Autor immer auch alternative Lösungen, etwa „Prediction markets“ (auf Deutsch „Vorhersage-Märkte“) erwähnt, in denen Menschen auf Ereignisse wetten können und so einen Anreiz haben, möglichst gute Vorhersagen zu treffen. So werden viele verschiedene Meinungen aggregiert – den Autoren zufolge funktionieren diese und andere bekannte Alternativen aber messbar schlechter als das Identifizieren und Entwickeln von Superforecastern.
Empfehlenswert sind zur Vertiefung in theoretische Grundlagen die Bücher „Schnelles Denken, langsames Denken“ von Daniel Kahnemann und „Der schwarze Schwan“ von Nassim Taleb.
RAPHAEL FRITZ ist IT-Unternehmer mit Fokus auf AI. Er war schon als Kind ein Bücherwurm, der nach dem Studium Hörbücher für sich entdeckte. So lässt sich sein Wissensdurst in den Bereichen Technologie, Politik, Philosophie, Wissenschaft und Persönlichkeitsentwicklung trotz eines hektischen Alltags hervorragend stillen. Knapp 70 Hörbücher und 5 gedruckte Bücher pro Jahr liefern dabei einen guten Pool, um hervorragende Empfehlungen abgeben zu können. Die meisten davon werden auf Englisch gelesen oder gehört. Ausnahmen gibt es primär, wenn Deutsch die Originalsprache ist.
