Evaluation der Prognose: Zwischen “richtig gut” und “eher bescheiden”

Restmandat.ch hat die Nationalratswahlen 2015 im Sommer und Herbst mit einer Prognose begleitet. Hier ist die Evaluation: Wie gut war die Prognose? Wo lag sie richtig, wo falsch? Was muss besser werden?


Die Evaluation in aller Kürze

  • Die nationale Prognose verfehlte deutlich den markanten Sitzgewinn der SVP.
  • Die kantonalen Prognosen lagen mit einer Trefferquote von 82 Prozent im Rahmen der Erwartungen. Unter den Erwartungen blieb die Anzahl der korrekt prognostizierten Sitzveränderungen, wobei wiederum die SVP-Prognose schlecht abschnitt.
  • In qualitativer Sicht zeigten die Prognosen mit Wahrscheinlichkeiten die Ausgangslage in der Mehrzahl der Kantone erstaunlich gut.
  • Google Sheets mit allen Prognosen und Resultaten gibt es hier.

Wenn mich jemand vor den Wahlen fragte, wie gut meine Vorhersage abschneiden würde, sagte ich jeweils: “Meine Prognosen werden in vier von fünf Fällen zutreffen. Wenn’s mehr ist, hab ich Glück gehabt… und werde vielleicht berühmt. Wenn’s weniger ist, hab‘ ich Pech gehabt und ziehe mich ans andere Ende der Welt zurück.”

Nun: Es traf der Normalfall ein. Gut 80 Prozent meiner Prognosen bewahrheiteten sich.

Für’s berühmt werden reicht das nicht.

Am anderen Ende der Welt lebe ich schon, von daher war das sowieso nur eine rhetorische Aussage.

Aber diese Zahl, 80 Prozent, ist trügerisch. Die Vorhersagen müssen differenzierter betrachtet werden, um ihren Wert beurteilen zu können. In einigen Fällen waren die Resultate bemerkenswert gut, in anderen unterirdisch schlecht.

Zur Erinnerung: Das Prognosemodell für die Nationalratswahl basiert hauptsächlich auf den Resultaten der Kantonswahlen in den zurückliegenden vier Jahren. Diese Resultate werden ergänzt durch Informationen zu nicht mehr antretenden Parlamentariern sowie Rücktritten während der Legislatur. Nicht berücksichtigt werden Umfragen. Die Prognose wird sodann in probabilistischer Weise ausgedrückt, das heisst, jedem möglichen Ausgang – also, wie viele Sitze eine Partei erreicht – wird eine Wahrscheinlichkeit zugeordnet. (Hier geht’s zu detaillierten Methodenbeschreibung).

Die Evaluation der einzelnen Prognosen:

Eine Tabelle (Google Sheets) mit den detaillierten Prognosen und Resultaten gibt es hier. Die grafische Darstellung ist hier zu finden.

Weit daneben: Nationale Sitzprognose

Wenig brauchbar war die nationale Sitz-Prognose, die ich für watson.ch hergestellt habe. Statistisch gesehen war ihre Eintreffenswahrscheinlichkeit sehr gering, und so ist es auch gekommen. Sie verfehlte die Realität deutlich, wie die untenstehende Abbildung zeigt.

NRW2015_VorhersageVsRealitaet

Ins Auge sticht die markante Abweichung bei der SVP, bei der die Prognose um ganze 10 Sitze abwich. Ebenfalls zu schwach eingeschätzt worden ist die FDP (Differenz +2), während im Gegenzug die GLP (-3) eine deutlich grössere Niederlage einstecken musste als prognostiziert. Ferner fällt auf, dass die vorausgesagten Sitzgewinne der Kleinparteien EVP, EDU, AL und des Genfer Linksaussen-Bündnisses (Ensemble) nicht eintrafen.

Tendenz stimmt – mit einer Ausnahme

Besser sieht die tendenzielle Vorhersage aus, die angibt, mit welcher Wahrscheinlichkeit die grossen und mittleren Parteien Sitze gewinnen oder verlieren. Sie gab die Realität ziemlich gut wider, nur bei der SVP lag sie falsch, dafür gleich markant: Einen so starken Zuwachs (+ 10 Sitze auf 62 Sitze) hatte das Modell nicht einmal in Betracht gezogen.

Wie erwartet: Kantonale Sitzprognose

Die Prognose pro Kanton sollte – dank den Wahrscheinlichkeiten – Wackelsitze von Parteien identifizieren und die möglichen Nutzniesser nennen, also jene Parteien, die sich am ehesten Hoffnungen auf einen Sitzgewinn machen können.

In erster Linie zeigen diese Darstellungen die Ausgangslage in den Kantonen. Daraus lässt sich aber auch eine wahrscheinliche Sitzverteilung im Kanton ableiten, was ein angenehmer Nebeneffekt ist. Wird jeweils die höchste Wahrscheinlichkeit pro Partei als “Sitzprognose” gewertet, so traf diese bei den erwähnten rund 80 Prozent der Fälle ein. Diesen Wert erreichten auch die Prognosen, die ich ex post auf frühere Wahlen angewandt habe.

Ein Vergleich der Vorhersage mit der Realität sieht (in einer Kreuztabelle) folgendermassen aus:

Crosstab VorhersageVsRealtaet

Daraus ergeben sich folgende Kennzahlen:

  • Anzahl Fälle: 188
  • Präzise Sitzprognosen, korrekt: 154 (82%)
  • Sitzveränderungen korrekt prognostiziert: 15 von 39 (38%)
  • Sitzveränderungen prognostiziert: 26. Davon eingetroffen: 15 (58%)
  • Eingetroffene Fälle, denen das Modell eine Wahrscheinlichkeit von 0,000% gab: 0

Aus diesen Kennzahlen ziehe ich folgendes Fazit: Die Prognose schnitt im Rahmen der Erwartungen ab. (Der relativ hohe Wert von 82 Prozent beschönigt das Verdikt leicht, da die Prognosen für Kleinstparteien quasi “gratis” sind. Dass Kleinstparteien meist keine Sitze holen, lässt sich schon bei geringen Kenntnissen der Schweizer Politik voraussehen.)

Schlecht schnitt die kantonale Prognose wiederum für die SVP ab. Die Volkspartei kam in nicht weniger als zehn Kantone auf eine Sitzzahl, für die nach dem Modell die (kumulierte) Wahrscheinlichkeit unter 50 Prozent lag (siehe untenstehende Abbildung). Das heisst, dass das Modell es jeweils für unwahrscheinlich hielt, dass die Partei so viele Sitze erreicht. ”Überraschungen” gab es auch bei anderen Parteien, aber bei keiner in diesem Ausmass.

KumWahrscheinlichkeiten

Die Kantonskürzel zeigen an, wie hoch die kumulierte Wahrscheinlichkeit (horizontale Achse) nach dem restmandat.ch-Modell für eine Partei (vertikal) lag, im Kanton die bei den Wahlen 2015 erreichte Sitzzahl zu schaffen. Ein niedriger Wert zeigt an, dass das Modell die Sitzzahl für sehr unwahrscheinlich einschätzte. Ein hoher Wert bedeutet, dass das Modell die erreichte Sitzzahl für sehr wahrscheinlich hielt – und eher mit noch mehr Sitzen rechnete.

Dass die Prognose die zweistelligen Sitzgewinne der SVP in keiner Art und Weise vorausgesehen hat, spiegelt sich im tiefen Wert der prognostizierten Sitzveränderungen (38 Prozent). Diese hatten in Testdurchläufen mit früheren Wahlen bedeutend höher gelegen, meist über 50 Prozent. 

Schliesslich sei aber darauf hingewiesen, dass eine Chance von unter 50 Prozent noch immer eine Chance ist… Die SVP hat schlicht mehr herausgeholt, als die Modellparameter es erahnen liessen. Dieser Wahlerfolg und warum das Modell so stark daneben lag, müsste noch vertiefter untersucht werden.

Qualitative Sicht: Erstaunlich positiv

Um eine Ahnung von der Prognose-Qualität jenseits von Treffern und Nieten zu erhalten – die Prognose sollte ja in erster Linie die Ausgangslage darstellen – habe ich die Kantone angeschaut und jeweils mit einer Schulnote bewertet (letzteres eher subjektiv):

Kanton Prognose Eingetroffen Note
ZG Alles bleibt beim Alten Alles blieb beim Alten 6
BL Alles bleibt beim Alten Alles blieb beim Alten 6
SH Alles bleibt beim Alten Alles blieb beim Alten 6
TG GLP verliert Sitz, SVP-Sitz gefährdet (50:50); Chancen auf Sitzgewinn (Rangfolge): FDP (deutlich grösste Chance), CVP, FDP (2. Sitz) GLP verliert Sitz, dieser geht an FDP 6
TI Alles bleibt beim Alten; SP könnte allenfalls auf Kosten von SVP einen Sitz gewinnnen Alles blieb beim Alten 6
NE FDP und Grüne dürften Sitz verlieren, POP könnte am ehesten einen gewinnen [Kanton hat ein Mandat weniger] FDP und Grüne verlieren je einen Sitz; POP gewinnt einen Sitz 6
JU Alles bleibt beim Alten Alles blieb beim Alten 6
LU GLP dürfte Sitz verlieren, dieser geht an SVP oder SP GLP verliert Sitz, dieser geht an SVP 5.5
BS CVP-Sitz stark gefährdet, Dreikampf mit GLP und Grünen Grüne (Basta) gewinnen Sitz auf Kosten von CVP 5.5
SG GLP dürfte Sitz verlieren, Sitz der Grünen stark gefährdet; Chance auf Sitzgewinn (Rangfolge): FDP, SP, CVP, SVP, BDP GLP und Grüne verlieren Sitz; FDP und SVP gewinnen je einen Sitz 5.5
VD SP dürfte Sitz verlieren; am ehesten gewinnen (Rangfolge): POP, FDP, GPS, GLP SP verliert Sitz; FDP gewinnt 5
SZ SVP gewinnt Sitz auf Kosten von (Rangfolge): FDP, SP, CVP SVP gewinnt Sitz auf Kosten von SP 5
FR SVP hat geringe Chance auf Sitzgewinn auf Kosten der SP SVP gewinnt Sitz auf Kosten von SP 5
GR GLP verliert Sitz; dieser geht an (Rangfolge): FDP (deutlich grösste Chance), BDP, SVP GLP verliert Sitz, dieser geht an SVP 4.5
VS Zusätzliches Mandat dürfte an FDP gehen, SP-Sitz stark gefährdet; Chancen auf zusätzlichen Sitz haben auch: SVP, CVP SP verliert Mandat, CVP und SVP gewinnen je ein Mandat (FDP bleibt unverändert) 4
GE Grüne und SP dürften je einen Sitz verlieren; Ensemble gewinnt (praktisch sicher) einen Sitz, FDP und MCR könnten auch einen Sitz gewinnen Grüne verlieren einen Sitz, FDP gewinnt einen Sitz; Ensemble geht leer aus 4
SO Mandatsverlust für Kanton, am ehesten verlieren dürften diesen Sitz (Rangfolge): SVP, SP, CVP CVP verliert den Sitz 3.5
BE Grüne verlieren einen Sitz, evtl. auch SVP; EDU gewinnt Sitz zurück Grüne verlieren einen Sitz, BDP verliert Sitz; SVP gewinnt Sitz; EDU gewinnt keinen Sitz 3.5
ZH Verluste für Grüne, BDP und SVP; Gewinne für FDP, AL, EDU; gleich: SP, CVP Grüne, GLP, BDP verlieren; SP (+2), SVP und FDP gewinnen; unverändert: CVP, EVP; kein Sitzgewinn für AL, EDU 3
AG Zusätzliches Mandat dürfte gehen an (Rangfolge): CVP, EVP, SVP, SP, FDP SVP und FDP gewinnen je einen Sitz, SP verliert einen Sitz 2.5

In deutlich mehr als der Hälfte der Kantone zeigte die Prognose entweder das richtige Resultat oder aber zwischen welchen Parteien die Sitze umstritten sein würden. Dieses Resultat ist erfreulich und steht in starkem Kontrast zum eher bescheidenen Erfolg der nationalen Prognose.

Negativ stechen die grösseren Kantone (mit Ausnahme der Waadt) heraus. Das erstaunt nicht sonderlich, da aufgrund der tiefen Schwelle für ein Mandat schon wenige Prozentpunkte Wähleranteil Unterschied das Resultat stark beeinflussen. Ebenfalls schlecht prognostiziert wurden die meisten der Kantone, in denen es zu Mandatsverschiebungen kam: Sowohl in Solothurn (-1 Sitz) wie auch im Wallis (+1 Sitz) haben beispielsweise nicht die “Favoriten” die Sitze gewonnen oder verloren.

Fazit

Die Prognosen stellten die Ausgangslagen in der Mehrzahl der Kantone sehr gut dar – inklusive zahlreicher Treffer. Auf die nationale Ebene liess sich dies allerdings nur für eine Tendenzaussage zusammenfassen. Für Aussagen über die Sitzzahl enttäuschte die Prognose vor allem bei der SVP.

Eine gewisse Systematik lässt sich bei den Fehlprognosen ausmachen: 1. In den grossen Kantonen waren die Prognosen fast durchwegs schlecht; 2. Die Prognose überschätzte Kleinparteien. 3. Ein methodischer Mangel war in diesem Jahr der fehlende Einbezug einer Stimmungskomponente wie sie Umfragen darstellen. Das führte dazu, dass die wichtigste Entwicklung der Wahlen – der Erfolg der SVP – in der Prognose fehlte.

Dennoch: Trotz einiger Mängel hatte die Übung aus meiner Sicht ihren Wert.