Vítejte u Dobrého Úsudku

prvního českého newsletteru o úsudkovém forecastingu
a souvisejících tématech od think-tanku České priority

České priority se rozvíjením úsudkového forecastingu a souvisejících metod zabývají od roku 2020, především skrze turnaje OPTIONS a FORPOL. V červenci 2023 jsme sestavili Odborný Predikční Tým (OPT) složený z nejúspěšnějších účastníků našich turnajů, který pomáhá připravenosti veřejných institucí a volbě informanějších rozhodnutí o budoucnosti.

Forecastingové a foresightové workshopy Českých priorit

České priority nově nabízí workshopové cykly zaměřené na různé metody strategického foresightu (horizon scanning, scenario making, delphi, …), mezi které spadá také forecasting. Pokud byste vy a nebo organizace kolem vás měly zájem proniknout hlouběji do problematiky a nebo se o ní dozvědět alespoň základy, tyto workshopy jsou pro obojí ideální příležitostí. Více si můžete přečíst zde, případně se neváhejte zeptat na emailu foresight@ceskepriority.cz.

Zapojte se do predikování na FORPOL Open

Pokud máte zájem s úsudkovým forecastingem experimentovat (případně ho trénovat), můžete tak učinit na naší volně přístupné platformě FORPOL Open. Stačí si pouze založit účet na platformě Metaculus a přihlásit se na jeho subdoméně. 

Otázky, zpravidla v počtu 3-5, nově přidáváme vždy přibližně 10. den v měsíci a vyhodnocujeme je za necelý měsíc, takže budete mít rychlou zpětnou vazbu a vždy něco nového k zamyšlení. Příležitostně pak publikujeme i dlouhodobější otázky - případně můžete pokládat i otázky vlastní. 

Novinky ze světového forecastingu

Metaculus nově umožňuje “odstoupení” od otázek

Forecastingová platforma Metaculus v návaznosti na řadu změn provedených na platformě v průběhu podzimu letošního roku zavedla možnost odstoupit od otázky. V praxi to ale neznamená, že forecaster ztratí veškerou historii svého zapojení v dané otázce, pouze ode dne odstoupení nebude získávat Coverage, Baseline a Peer score, které se započítávají za každý den, kdy je jakákoli predikce forecastera v otázce zadaná. Konkrétní příklad i s rozborem dopadů odstoupení z otázky jsou k dispozici zde.

Forecasting Research Institute přichází s testem na odhalování nejlepších forecasterů

Jedním z deklarovaných cílů Forecasting Research Institute (FRI) je vytvoření nástroje, který umožní odhalování nejschopnějších či nejperspektivnějších forecasterů pomocí testu, který by tak znamenal zásadní usnadnění tohoto procesu, který obyčejně probíhá skrze často dlouhotrvající turnaje, jejichž organizace je náročná jako pro účastníky, tak i pro pořadatele. Nyní v preprintu FRI tento nástroj, Forecasting Proficiency Test (FPT), představuje. FPT dokáže předpovědět budoucí přesnost účastníků s 60% úspěšností díky zachycení relevantních faktorů, které ovlivňují jejich schopnost předpovídat, což je podle tvrzení autorů výrazně více, než jakékoli alternativy.

Kromě tohoto výzkumu v poslední době FRI zveřejnil také working paper, který se zaměřuje na zvyšování přesnosti forecastování málo pravděpodobných jevů, které je obtížné zachytit bez modifikace obvykle využívaných forecastingových měřítek.

GJO pokračuje ve spolupráci s deníkem The Economist

Již desátý ročník forecastingového turnaje organizovaného Good Judgment Open ve spolupráci s deníkem The Economist před několika dny začal. Na celkem 25 otázek mohou účastníci predikovat do září příštího roku, aby se však mohli stát vítězem, který bude zveřejněn v The Economist, musejí zodpovědět alespoň 22 z 25 otázek. Zároveň The Economist zveřejnil predikce z letošního roku.

Zajímavá forecastingová otázka ze zahraničí

Jedna z otázek ze série mezi The Economist a Good Judgment Open se týká hodnoty akcií firmy NVIDIA k 30. září 2025. Good Judgment Open častěji než jiné platformy používá právě členění předem nadefinovaných intervalů, ke kterým uživatelé přikládají své pravděpodobnostní predikce. Níže uvidíte, jaká je aktuální distribuce na GJO.

Odlišné formy forecastingu

Metaculus v posledních dnech dělal drobný experiment, v rámci kterého porovnával tzv. Scope sensitivity - prozaicky řečeno jde o to, jestli dokáží velké jazykové modely o1-preview a GPT4o dokáží dojít v několika obdobných otázek s různým časovým odstupem k celkové pravděpodobnosti 100%, a nebo budou přestřelovat/podstřelovat. Výsledky jsou k nahlédnutí níže a nebo v Metaculus blogpostu. V každém případě se zdá, že tato disciplána je pro LLMs velmi náročná, a oproti očekáváním si GPT4o vedl lépe, než novější model o1-preview.

Pokud se vám Dobrý Úsudek líbí, budeme rádi, pokud dáte vědět svým známým o možnosti jeho odebírání, například přes odkaz níže. Na další číslo newsletteru se můžete těšit přibližně za měsíc.

Za tým Českých priorit,
Pavel Hanosek