Preskočiť na hlavný obsah
Voľby NR SR2027
Metodika · kalibrácia

Spätný test modelu

Namiesto sľubov meranie: dnešnú výpočtovú pipeline (okno 8 prieskumov, exponenciálne váženie, house-effect korekcia) sme spustili k mesačným bodom pred voľbami 2016, 2020 a 2023 — vždy LEN z prieskumov dostupných v danom momente — a porovnali so skutočným výsledkom. Každá zmena modelu musí najprv vyhrať v tomto teste (kvalitná brána), až potom sa nasadí.

Priemerná chyba (MAE)

1.99 p. b.

odhad vs výsledok, T−0

Systematický bias

+0.23 p. b.

kladný = nadhodnocuje

Pokrytie 80 % intervalu

75.21 %

ideál ~80 % — menej = prílišná istota

CRPS

1.6

nižšie = lepšie (kvalita distribúcie)

Správny víťaz

3/3

vstupy do NR: 85.29 % správne

Spoľahlivosť pravdepodobností vstupu do parlamentu

Týždeň po týždni posledných 26 týždňov pred voľbami 2016, 2020 a 2023 sme zaznamenali, akú pravdepodobnosť vstupu do NR model každej strane dával — spolu 907 predikcií — a porovnali s tým, či strana do parlamentu naozaj vstúpila. Dobre kalibrovaný model má byť „úprimný": z predikcií „70 %" sa má splniť zhruba 70 %.

Brier skóre

0,166

0 = dokonalé · 0,25 = hádanie mincou (50 %)

Skill oproti baseline

+32 %

o toľko lepší Brier než konštantná predikcia 57 % (podiel skutočných vstupov)

Hodnotených predikcií

907

3 volebné cykly × týždenné body × strany

00252550507575100100Pásmo 0–10 %: model Ø 2 %, skutočne vstúpilo 0 % (79 predikcií)Pásmo 10–20 %: model Ø 16 %, skutočne vstúpilo 2 % (56 predikcií)Pásmo 20–30 %: model Ø 25 %, skutočne vstúpilo 12 % (59 predikcií)Pásmo 30–40 %: model Ø 34 %, skutočne vstúpilo 26 % (54 predikcií)Pásmo 40–50 %: model Ø 47 %, skutočne vstúpilo 65 % (23 predikcií)Pásmo 50–60 %: model Ø 54 %, skutočne vstúpilo 78 % (27 predikcií)Pásmo 60–70 %: model Ø 65 %, skutočne vstúpilo 75 % (131 predikcií)Pásmo 70–80 %: model Ø 74 %, skutočne vstúpilo 64 % (114 predikcií)Pásmo 80–90 %: model Ø 85 %, skutočne vstúpilo 31 % (61 predikcií)Pásmo 90–100 %: model Ø 97 %, skutočne vstúpilo 87 % (303 predikcií)Predikovaná pravdepodobnosť vstupu (%)Skutočná frekvencia (%)
Bod na diagonále = dokonalá kalibrácia. Veľkosť bodu = počet predikcií v pásme.

Ako čítať diagram

Každý bod je skupina predikcií s podobnou pravdepodobnosťou (napr. 60–70 %). Vodorovná os = čo model tvrdil, zvislá = ako často sa vstup naozaj konal. Bod na prerušovanej diagonále znamená dokonalú kalibráciu; bod pod diagonálou znamená, že model bol v tom pásme príliš sebavedomý, nad diagonálou príliš opatrný. Veľkosť bodu = počet predikcií v pásme.

Brier skóre po cykloch

Voľby 20160,158243 predikcií
Voľby 20200,178340 predikcií
Voľby 20230,160324 predikcií

Case study: PS/SPOLU 2020 — near-miss, ktorý preveril model

Koalícia PS/SPOLU získala vo voľbách 2020 presne 6,96 % — o štyri stotiny percentuálneho bodu menej, než vyžadovala 7 % hranica pre koalície. Najtesnejší neúspech modernej slovenskej volebnej histórie je ideálny test poctivosti pravdepodobností: model, ktorý by vstup koalície tvrdil „na istotu", by tu tvrdo narazil.

0 %50 %100 %−26 týž.−20 týž.−13 týž.−7 týž.voľbyPredvečer volieb: P(vstup) 73 % pri odhade 8,9 % — skutočnosť 6,96 % (nevstúpila)

V predvečer volieb dával model koalícii PS/SPOLU odhad 8,9 % a pravdepodobnosť vstupu 73 %; skutočnosť (6,96 %) skončila tesne pod hranicou. Model teda správne komunikoval, že vstup je neistý — nie istý ani vylúčený. Je to priamy dôsledok empirickej kalibrácie šumu (model v1.5): σ nakalibrovaná na historické chyby prieskumov drží strany na hrane prahu v poctivom pásme neistoty. Presne pre takéto prípady publikujeme pravdepodobnosti namiesto binárnych verdiktov „postúpi / nepostúpi" — a ich kalibráciu meriame v diagrame vyššie.

Voľby 2016

skutočné výsledky →

Chyba odhadu podľa vzdialenosti od volieb

3.85
−12
4.03
−11
4.04
−10
3.69
−9
3.72
−8
3.54
−7
3.73
−6
4.14
−5
4.22
−4
4.18
−3
4.18
−2
3.53
−1
3.54
voľby

Finálny odhad (T−0, 47 prieskumov k 2016-03-05) vs výsledok

StranaModelVýsledokChybaP(vstup)80 % interval
Smer35.8 %28.28 %+7.5100 % ✓mimo
SaS5.0 %12.10 %-7.150 % ✓mimo
OĽaNO6.0 %11.02 %-5.074 % ✓mimo
SNS9.1 %8.64 %+0.498 % ✓v intervale
Most-Híd7.9 %6.50 %+1.495 % ✓v intervale
#SIEŤ12.3 %5.60 %+6.7100 % ✓mimo
KDH7.4 %4.94 %+2.492 %mimo
SMK-MKP4.1 %4.04 %+0.125 %v intervale
SDKÚ-DS1.4 %0.26 %+1.20 %mimo

Chybná klasifikácia vstupu: KDH (model čakal vstup) · SaS (model vstup nečakal)

Voľby 2020

skutočné výsledky →

Chyba odhadu podľa vzdialenosti od volieb

4.48
−12
4.78
−11
4.52
−10
4.53
−9
4.46
−8
4.46
−7
4.01
−6
3.72
−5
3.55
−4
3.33
−3
3.03
−2
2.86
−1
1.31
voľby

Finálny odhad (T−0, 147 prieskumov k 2020-02-29) vs výsledok

StranaModelVýsledokChybaP(vstup)80 % interval
OĽaNO19.6 %25.02 %-5.5100 % ✓mimo
Smer16.2 %18.29 %-2.1100 % ✓v intervale
Sme rodina7.1 %8.24 %-1.177 % ✓v intervale
ĽSNS9.6 %7.97 %+1.693 % ✓v intervale
PS/SPOLU8.9 %6.96 %+2.073 %v intervale
SaS6.1 %6.22 %-0.167 % ✓v intervale
Za ľudí7.3 %5.77 %+1.679 % ✓v intervale
KDH5.4 %4.65 %+0.857 %v intervale
SMK-MKP4.0 %3.90 %+0.131 %v intervale
SNS3.7 %3.16 %+0.627 %v intervale
Dobrá voľba3.4 %3.06 %+0.321 %v intervale
Vlasť3.0 %2.93 %+0.114 %v intervale
Most-Híd3.4 %2.05 %+1.320 %v intervale

Chybná klasifikácia vstupu: PS/SPOLU (model čakal vstup) · KDH (model čakal vstup)

Voľby 2023

skutočné výsledky →

Chyba odhadu podľa vzdialenosti od volieb

3.45
−12
3.36
−11
3.09
−10
2.97
−9
2.96
−8
2.84
−7
2.65
−6
2.31
−5
2.09
−4
1.99
−3
1.64
−2
1.42
−1
1.13
voľby

Finálny odhad (T−0, 268 prieskumov k 2023-09-30) vs výsledok

StranaModelVýsledokChybaP(vstup)80 % interval
Smer20.4 %22.94 %-2.6100 % ✓v intervale
PS17.7 %17.96 %-0.2100 % ✓v intervale
Hlas13.1 %14.70 %-1.698 % ✓v intervale
OĽaNO7.6 %8.89 %-1.380 % ✓v intervale
KDH6.0 %6.82 %-0.863 % ✓v intervale
SaS6.4 %6.32 %+0.168 % ✓v intervale
SNS5.8 %5.62 %+0.161 % ✓v intervale
Republika7.4 %4.75 %+2.678 %v intervale
Aliancia3.4 %4.38 %-1.023 %v intervale
Demokrati3.3 %2.93 %+0.422 %v intervale
Sme rodina4.7 %2.21 %+2.545 %v intervale
MF0.5 %0.11 %+0.40 %v intervale

Chybná klasifikácia vstupu: Republika (model čakal vstup)

Ako test čítať

  • Replay používa výhradne prieskumy publikované PRED daným cutoffom (žiadny pohľad do budúcnosti) a dobové volebné prahy — OĽaNO ako hnutie (5 %), PS/SPOLU 2020 ako koalícia (7 %).
  • Korekcie z volebného jadra a potenciálu sa v replayi neaplikujú — tieto merania pred rokom 2023 neexistovali; test hodnotí čistý prieskumový model.
  • Pokrytie 80 % intervalu pod 80 % znamená, že model je príliš sebavedomý — toto zistenie viedlo k empirickej kalibrácii šumu σ(p) z historických chýb (model v1.5, viď zmeny modelu).
  • Kalibračné vstupy modelu (váhy agentúr, chybový kernel σ) sa v teste počítajú leave-one-cycle-out: pre hodnotený cyklus sa fitujú výhradne z OSTATNÝCH cyklov, takže model nikdy „nevidí" voľby, na ktorých je meraný. Živý model pre rok 2027 používa kalibráciu zo všetkých troch cyklov.
  • CRPS (continuous ranked probability score) hodnotí celú predikčnú distribúciu, nie len bodový odhad; počíta sa analyticky z normálneho rozdelenia, z ktorého simulácie vzorkujú.
  • Brier skóre a reliability diagram vychádzajú z týždenných predikcií (T−26 až T−0 týždňov, tri cykly). Po sebe idúce týždne zdieľajú časť prieskumov v okne, takže jednotlivé body nie sú nezávislé pozorovania — hodnotia priebeh modelu v čase, nie „nové" experimenty. Rovnaký prístup používajú svetové forecast weby.

Výsledky sa prepočítavajú nočným behom pri každej zmene vstupov. Celá metodika → · Zmeny modelu →