Vítejte u Dobrého Úsudku

prvního českého newsletteru o úsudkovém forecastingu
a souvisejících tématech od think-tanku České priority

České priority se rozvíjením úsudkového forecastingu a souvisejících metod zabývají od roku 2020, především skrze turnaje OPTIONS a FORPOL. V červenci 2023 jsme sestavili Odborný Predikční Tým (OPT) složený z nejúspěšnějších účastníků našich turnajů, který pomáhá připravenosti veřejných institucí a volbě informanějších rozhodnutí o budoucnosti.

Novinky z českého forecastingu

Forecasteři OPT predikovali klíčové události a trendy pro rok 2024

Po vzoru projektu Good Judgment Open a jeho spolupráce s deníkem The Economist se snažíme kultivovat spolupráci s médii. Na přelomu roku jsme se proto spojili se zpravodajským serverem Aktuálně.cz, pro který naši forecasteři vypracovávali predikce o vybraných klíčových událostech roku 2024, včetně amerických prezidentské voleb nebo vývoje české průměrné mzdy.

Zapojte se do predikování na FORPOL Open

Pokud máte zájem s úsudkovým forecastingem experimentovat (případně ho trénovat), můžete tak učinit na naší volně přístupné platformě FORPOL Open. Stačí si pouze založit účet na platformě Metaculus a přihlásit se na jeho subdoméně. 

Otázky, zpravidla v počtu 3-5, nově přidáváme vždy přibližně 10. den v měsíci a vyhodnocujeme je za necelý měsíc, takže budete mít rychlou zpětnou vazbu a vždy něco nového k zamyšlení. Příležitostně pak publikujeme i dlouhodobější otázky - případně můžete pokládat i otázky vlastní. 

Výstupy měsíčních predikcí se pokusíme pravidelně vydávat s krátkými komentáři na blogu Českých priorit.

Novinky ze světového forecastingu

Forecasting a výzkum umělé inteligence

V poslední době se v úsudkovém forecastingu začíná čím dál více zkoumat možnost využití jazykových modelů umělé inteligence (tzv. LLM - large language models). Obvykle se používají některé dnes již poměrně známé nástroje, např. Chat GPT, Gemini nebo Llama. 

V březnu vyšly hned dva výzkumy, které naznačují, že modifikovaná umělá inteligence dokáže predikovat na úrovni srovnatelné s individuálními ostřílenými forecastery. Zároveň ale tvrdí, že bez řady úprav nejsou modely umělé inteligence příliš dobrými forecastery.

První z výzkumů retrospektivně analyzoval forecastingové otázky do poloviny minulého roku a predikce na ně porovnával s lidskými forecastery. Používal jediný LLM (Chat GPT 4.0), který výzkumníci poměrně rozsáhle upravili a trénovali na již vyřešených otázkách. Ačkoli v rámci výzkumu umělá inteligence překonala individuální zkušené lidské forecastery, nedokázala překonat ani nejjednodušší agregační mechanismus (moudrost davu).

Druhý výzkum, vedený Philipem Tetlockem, se soustředil na zapojení většího počtu modelů umělé inteligence, namísto vylepšování jednoho vybraného. Výzkumníci tak agregovali predikce 12 různých modelů na 31 otázkách (v kontrastu s výše zmíněným výzkumem, který pracoval se vzorkem 3500 otázek)). I přes rozdíly v obou výzkumech i tento tým došel k podobným výsledkům - agregovaná predikce předčila zkušené jednotlivé forecastery, ale už ne agregaci zkušených lidských forecasterů.

Predikujte na téma umělé inteligence (Metaculus) 

Aby umělé inteligence nebylo málo, tak od konce ledna tohoto roku probíhá dlouhodobý miniturnaj na platformě Metaculus, který se jmenuje Future of AI. V rámci něj výzkumníci uskupení Arb Research, tvořeného především superforecastery, identifikovali klíčové trendy v této oblasti, které by stálo za to sledovat a predikovat. Času na zapojení je více než dost -  řada otázek je otevřena do roku 2026, další i výrazně déle, nicméně i zde platí, že dřívější predikce je považována za hodnotnější…

Swift centre a jaderný program KLDR

Tato novinka je opravdu spíše pro zajímavost. Superforecasteři Swift Centre for Applied Forecasting v únoru facilitovali workshop pro Vienna Centre for Disarmament and Non-Proliferation (VCDNP), v rámci kterého forecastingově spolu s experty z různých oblastí predikovali vývoj severokorejského jaderného programu.

Zajímavá forecastingová otázka ze zahraničí

Podobně jako v předchozím čísle tohoto newsletteru nebude zajímavá otázka úplně optimistická. Otázkou, kterou pro tento měsíc vybíráme, je “Vypukne do roku 2050 Třetí světová válka?” Forecasteři Metaculu takovému scénáři přikládají pravděpodobnost 24%, zvýšení o 4% za poslední dva týdny (pravděpodobně po prohlášeních ruských nejvyšších představitelů o jaderné válce a vstupu Švédska do NATO).

Odlišné formy forecastingu

Forecasting je pouze jednou z metod tzv. strategického foresightu. Právě ten už je poměrně rozsáhle využívaný v postupech využívaných Evropskou unií pro strategické plánování. 

V druhé polovině února Evropská komise vydala sadu nových dokumentů stavějících na dosavadních foresightových studiích a my věříme, že to pro vás může být velmi zajímavé čtení, které najdete koncentrované také na platformě futures4europe.eu.

Pokud se vám Dobrý Úsudek líbí, budeme rádi, pokud o něm dáte vědět svým známým. Na další číslo newsletteru se můžete těšit přibližně za měsíc.

Pokud se vám Dobrý Úsudek líbí, budeme rádi, pokud dáte vědět svým známým o možnosti jeho odebírání, například přes odkaz níže. Na další číslo newsletteru se můžete těšit přibližně za měsíc.

Za tým Českých priorit,

Pavel Hanosek