Vítejte u Dobrého Úsudku

prvního českého newsletteru o úsudkovém forecastingu
a souvisejících tématech od think-tanku České priority

České priority se rozvíjením úsudkového forecastingu a souvisejících metod zabývají od roku 2020, především skrze turnaje OPTIONS a FORPOL. V červenci 2023 jsme sestavili Odborný Predikční Tým (OPT) složený z nejúspěšnějších účastníků našich turnajů, který pomáhá připravenosti veřejných institucí a volbě informanějších rozhodnutí o budoucnosti.

Novinky z českého forecastingu

Forecastingové a foresightové workshopy Českých priorit

České priority nabízí workshopové cykly zaměřené na různé metody strategického foresightu (horizon scanning, scenario making, delphi, …), mezi které spadá také forecasting. Pokud byste vy a nebo organizace kolem vás měly zájem proniknout hlouběji do problematiky a nebo se o ní dozvědět alespoň základy, tyto workshopy jsou pro obojí ideální příležitostí. Více si můžete přečíst zde, případně se neváhejte zeptat na emailu foresight@ceskepriority.cz.

Novinky ze světového forecastingu

FutureEval na Metaculu - měření schopnosti předpovídat svět

Metaculus před několik dny spustil svůj nový web FutureEval, který se věnuje tématu benchmarkingu výkonů AI ve forecastingu. Právě forecasting by mohl být vhodným pro testovacím prostředím, jelikož nutí AI pracovat kontextem, dohledávat informace, modelovat svět a poradit si s nejistotou. FutureEval stojí na třech pilířích - staví proti sobě různé AI modely na různých forecastingových otázkách, bere data z turnajů vývojářů botů a tzv. Minibenche, a porovnává u vybraných otázek modely s lidskými forecastery. 

FutureEval zdůrazňuje, že vždy budou existovat otázky o budoucnosti, nehrozí tedy vyřešení všech úloh pro testování AI (zítřek je vždy nepředvídatelný). Skórování je postavené na tzv. proper scoring rules a v žebříčku se používá Peer score, aby bylo možné férově porovnávat modely napříč různými typy otázek. Vedle žebříčku je důležitý i monitoring Performance Over Time, kde se výkon vykresluje vůči datu vydání modelů a trend se používá k odhadu, kdy by nejlepší modely mohly dohnat lidské baseline - web uvádí konkrétní odhadované milníky (překonání komunity a lidských Pros) pro následující roky.

Je Polymarket republikánský? Pokud ano, do přesnosti trhů to nevstupuje

Jeden z posledních dílů newsletteru platformy Polymarket, The Oracle, snaží vyvrátit stereotyp, že predikční trhy zaměřené na volby na Polymarketu zkreslují tzv. crypto bros, tedy obvykle pravicově smýšlející muži. Autoři analyzovali 79 volebních trhů z amerických prezidentských voleb v listopadu 2024 (převážně souboje Demokrat vs. Republikán) a zjistili vysokou přesnost – 7 dní před uzavřením bylo správně 77/79 (97,5 %) a 1 den před uzavřením 74/79 (93,7 %), paradoxně tedy pozdě zapojení tradeři přinesli snížení přesnosti. Kde už se Polymarket mýlil, šlo podle autorů častěji o situace, kdy trh přisoudil výhru demokratům, ale zvítězili republikáni – tedy spíše mírné pro-demokratické nadhodnocení než naopak.

Jako doplňkovou metriku uvádějí směrové zkreslení. V průměru se projevil pro-demokratický sklon ~3,6 % (7 dní) a ~6,3 % (1 den). Zároveň ale upozorňují, že data před 2024 jsou skrze API nekompletní a samotné obchodování nemusí přímo odrážet politické preference traderů. Celkově ale tvrdí, že data z 2024 nepodporují tezi o konzervativním zkreslení a že dalším velkým testem budou Midterms 2026.

Swift Centre spouští Policy challenge zaměřenou na přetavení predikcí v akce

Swift Centre přichází se soutěží, která má propojit forecasting s tím, co vláda opravdu může v reakci na jejich základě udělat. Úkol je poměrně jednoduchý – vzít jednu z pěti prognóz od týmu profesionálních forecasterů, a přetavit ji do stručného policy briefu pro britského ministra zahraničí. 
Formát reflektuje praxi – cílem nejsou žádné eseje, ale až tří konkrétních variant chování, popis implementace (např. regulace, diplomacie, mezinárodní jednání), rizika a náklady, a nakonec doporučení, kterou cestou se vydat a proč. Swift Centre pošle na začátku března přihlášeným účastníkům třístránkovou šablonu ve stylu běžného britského policy mema. V druhé polovině dubna výsledky zveřejní v podobě dashboardu se všemi příspěvky. Tématy se budou dotýkat především AI, a má mezi nimi být například dopad na pracovní trh, rizika AI bubliny, autonomní zbraně a nebo biologická bezpečnost.

Zajímavá forecastingová otázka ze zahraničí

Napětí kolem Íránu v posledních týdnech zůstává stále velmi vysoké. Komunita platformy Good Judgment Open se proto věnuje otázce, kdy se Izrael opět pokusí zasáhnout cíle na území Íránu. Co si myslíte vy?

Odlišné formy forecastingu

Několik měsíců starý report think-tanku GLOBSEC se věnuje scénářům geopolitického vývoje týkajících se především války na Ukrajině, ale i jejich širších důsledků. Za zmínku stojí mmjn. To, že realističnost scénářů je zhodnocena pomocí udání konkrétních pravděpodobnostních odhadů (viz níže).

Pokud se vám Dobrý Úsudek líbí, budeme rádi, pokud dáte vědět svým známým o možnosti jeho odebírání, například přes odkaz níže. Na další číslo newsletteru se můžete těšit přibližně za měsíc.

Za tým Českých priorit,
Pavel Hanosek