FORPOL neboli "Forecasting for Policy" je společným projektem organizace České priority a organizace Metaculus. Je financován z fondu EA Infrastructure Fund a jeho hlavním cílem je ověřit relevanci forecastingu pro využití ve veřejném rozhodování. 

Úsudkový forecasting je metoda pro získávání odhadů budoucího vývoje na základě pravděpodobnostního uvažování a agregace většího počtu kvalifikovaných úsudků.

Při tvorbě veřejných politik je běžné konzultovat názory širokého spektra osob a odborníků a v posledních letech se výrazně zvyšuje zájem o využití robustních a systematických metod (jak individuálně, tak i institucionálně). S rostoucím zájmem roste také potřeba zdokonalování těchto metod. 

Úsudkový forecasting pracuje s predikcemi v problematikách, které jsou nové nebo na ně neexistuje dostatek dat (např. celospolečenské dopady pandemie, dopady nových technologií, atd.) nebo které jsou vysoce komplexní (geopolitika, dopady krizových opatření, atd.).

Úsudkový forecasting vychází z kvantitativních dat, ale zohledňuje i kvalitativní vývoj. Představuje tak možnost vyhodnocení situace na základě aktuálně dostupných informací. 

Klíčovým prvkem úsudkového forecastingu je kolektivní inteligence - místo spoléhání na úsudek jednoho experta jsou agregovány odhady široké skupiny forecasterů. Dochází tak k minimalizaci informačního šumu a zkreslení, a naopak k maximalizaci objemu informací, na základě kterých jsou souhrnné predikce vytvářeny.

Nejvíce využívané aplikace úsudkového forecastingu jsou forecastingové turnaje (kde vyškolení forecasteři získávají odměny za nejpřesnější predikce) a predikční trhy (kde účastníci sází vlastní peníze na své odhady).

Forecastingové turnaje

Oproti jiným metodám agregace expertních názorů (rozhovory a panely, dotazníky, Delphi) jsou forecastingové turnaje specifické ve třech aspektech:

1. Přesnost - Využíváním numerických nebo pravděpodobnostních predikcí namísto vágních slovních vyjádření (“nejspíše”, “s velkou pravděpodobností” atd.), je možné sdílet preciznější informace i následně upravovat a vyhodnocovat vlastní predikce. Díky tomu je také možné matematicky hodnotit přesnost predikcí a po určité době identifikovat konzistentně nadprůměrné forecastery, jejichž názorům je pak možné přikládat větší váhu - na základě objektivních kritérií.
2. Vyváženost - Díky fungování na on-line platformě je možné zapojit řádově více účastníků s různými expertízami a zkušenostmi, a také zajistit sdílení informací.
3. Rychlost - Je možné vést průběžnou diskuzi, což je dále podpořeno mechanismem skórování predikcí (oceňování včasných predikcí) i aspektem soutěživosti a odměnami.

Všechny vstupy jsou automaticky shromažďovány na on-line platformě, která posléze slouží jako digitální úložiště názorů a zdrojů a pro budování kapacit a učení se jednotlivců i institucí.

Zlepšení vlastních schopností přesně odhadovat pravděpodobnosti budoucího vývoje může mít v zásadní dopady na kvalitu vlastního rozhodování (každodenní i velká životní rozhodnutí, investování, práce s rizikem atd).

Státy i soukromé instituce nyní častěji investují do forecastingu, protože vnímají důležitost anticipace budoucích trendů při strategickém plánování i praktickém rozhodování, které má dalekosáhlé dopady a je nutné je dělat maximálně informovaně.

1. Spektrum problémů - Pomocí úsudkového forecastingu je možné odpovídat na zcela nové i multisektorové problémy, na které nestačí pouze matematické a statistické modely (např. dopady nových technologií, vývoj pandemie, společenské dopady konfliktů a krizí, apod.)
2. Pravděpodobnosti - Budoucnost není možné exaktně popsat, ale je možné o ní uvažovat v pravděpodobnostech na základě znalosti předchozího vývoje a kontextuálních faktorů. Tento přístup je pro dlouhodobě udržitelnou kvalitu rozhodování zásadní, jelikož umožňuje přesné popsání faktorů, na základě kterých je daná budoucnost považována za (ne)pravděpodobnou, a zjednodušuje tak následné upravení predikcí. Forecasteři tento způsob uvažování ovládají a aktivně se snaží v něm zdokonalovat.

3. Rozvoj dovedností - Schopnost upravovat své názory a operovat s nejistotou a nedostatkem dat je extrémně užitečná i v osobním životě. Využíváním těchto metod budujeme návyky a přenos těchto schopností i do ostatních oblastí života.

4. Množství názorů - Úsudkový forecasting využívá tzv. “moudrost davu” - jev, kdy je průměrný názor skupiny přesnější, než názory jednotlivých členů skupiny (v 80 - 90% případů, Otis 2022), a často i přesnější než názory expertů (až o 30%, Tetlock, 2014).

5. Spolupráce ve skupině - Úsudkový forecasting probíhá v on-line prostředí, kde spolu mohou lidé sdílet informace a úvahy, a na základě toho zlepšovat své predikce.

6. Asynchronní sdílení informací - Čas na tvorbu predikcí a aktivitu v turnaji si rozvrhují sami forecasteři a není potřeba sladit jejich programy. Aktivita zároveň probíhá on-line, což zvyšuje efektivitu a dostupnost výměny informací, a tím kvalitu výsledných predikcí.

7. Diverzita - V mnoha společenských problémech je důležité reflektovat zkušenosti a názory širokého spektra osob. To je možné právě díky tomu, že aktivita probíhá v on-line prostředí a poskytuje možnost participace stovkám i tisícům účastníků.

8. Anonymita - Benefitem je i vystupování účastníků pod pseudonymy, což snižuje argumentační sílu vyplývající pouze ze společenského postavení, akademických titulů nebo rétorických schopností, a umožňuje tak přesněji identifikovat opravdové talenty.

9. Motivace - Úsudkový forecasting pracuje s kombinací společenských, individuálních, i finančních motivací, díky kterým je možné získat široké spektrum kvalitních úvah od rozdílných forecasterů. 

10. Kombinace kreativity a expertízy - Vedle samotných pravděpodobnostních predikcí jsou důležitým produktem i psané úvahy jednotlivých forecasterů, které je možné efektivně obohacovat názory od oborových expertů.

Forecasteři využívají zadání otázky a případné doplňující informace k prozkoumání dané problematiky. Po zvážení takových faktorů forecasteři stanoví budoucí stav, kterou považují za nejpravděpodobnější, a v komentáři ke své predikci uvedou faktory, které je k této predikci vedly.

Výstupem důkladného forecastingu je tedy číselný údaj o pravděpodobnosti budoucího stavu a psaný komentář vysvětlující předpoklady, na základě kterých byla tato pravděpodobnost stanovena. Tyto v průběhu trvání otázky mohou na základě nově obdržených informací aktualizovat či upřesňovat, což je klíčový aspekt forecastingu.

Například u otázky “Jaká bude cena 1 kg másla v ČR v týdnu od 20. 3. 2023?” začínají forecasteři přemýšlet a vyhledávat další informace, jako například:

• Jaká je cena 1kg másla v ČR v současné chvíli?
• Jaké bývají historicky ceny másla v druhé polovině února?
• Stalo se od posledního února něco významného v mlékárenském průmyslu v ČR - nová konkurence, zánik společností, regulace?
• Liší se ceny másla v týdnech před Velikonocemi od okolních týdnů? A bude 20. 3. 2023 na dohled od Velikonoc?
• Jsou již teď pravděpodobné události (např. nárůst cen energií), které budou muset prodejci do příštího března promítnout do cen?

Všechny následně okomentují a na závěr mohou například zhodnotit, že za nejpravděpodobnější považují, že v dané chvíli budou ceny o 15% vyšší, než o rok dříve.

Tzv. futures thinking, neboli přemýšlení o budoucnosti, nám pomocí různých metod umožňuje se zamýšlet nad hnacími silami změn, které budoucnost utváří, a zároveň nám poskytuje možnost odhadovat důsledky dnešního rozhodování. Cílem není stanovit “co se stane,” ale co nejpřesněji zmapovat možný budoucí vývoj a jeho důsledky, a to na základě výzkumného a tvůrčího procesu využívajícího racionální, kolektivní a kreativní myšlení. Tento přístup je důležité využívat ve veřejném rozhodování nejen při tvorbě strategií, ale i při tvorbě veřejných politik.

Foresight je nástroj, který umožňuje odhalit budoucí výzvy a příležitosti. Výsledkem foresightu jsou například analýzy trendů, predikce nebo scénáře budoucího vývoje. Ty jsou používány státní správou zejména ve strategické práci, prioritizaci či při posuzování dopadů veřejných politik. Foresight využívá soubor kvalitativních i kvantitativních metod, které jsou obvykle založené na odborné či veřejné participaci.

Forecasting je jedna z metod foresightu (další jsou např. scénáře, horizon scanning nebo backcasting). Každá forecastingová předpověď je zaměřena na konkrétní, úzce specifikovanou veličinu a otázka je formulována na její hodnotu v budoucnosti. Výměnou za částečné “vytržení z kontextu” je fakt, že takto poskytované predikce následně mohou být konfrontovány se statisticky pozorovanými jevy a matematicky vyhodnocovány. Toto umožňuje identifikaci dobrých - přesných (resp. přesnějších, než je obvyklé) zdrojů předpovědí.

Zároveň to znamená, že forecasting je často využíván jako vstupní podklad pro statistické predikční modely, např. ve finančním sektoru. Ne vždy ovšem existují dostupné či vhodné modely, a proto se čím dál častěji využívá i úsudkový forecasting, blíže popsaný výše.

Pod taktovkou organizace České priority byl v průběhu roku 2021 organizován forecastingový turnaj OPTIONS, který je doposud největším projektem svého druhu v Česku. Byl financován pomocí grantu od Technologické agentury České republiky (TA ČR).

Výstupem tohoto projektu byla metodika využití úsudkového forecastingu ve veřejném rozhodování.

Projekt OPTIONS spolupracoval s několika českými vládními institucemi, které se podílely na pokládání otázek a jejichž odhady jim byly následně předloženy. Patří mezi ně například Národní úřad pro kybernetickou a informační bezpečnost (NÚKIB), Národní ústav duševního zdraví (NUDZ) nebo Národní monitorovací středisko pro drogy a závislosti Úřadu vlády (NMS).

Více informací o turnajích OPTIONS, přehled otázek položených v předchozích turnajích a predikce forecasterů si můžete prohlédnout na options.ceskepriority.cz/. 

Projekt FORPOL je zasazen do kontextu globálního zvyšujícího se povědomí a zájmu o pravděpodobnostní úsudkové predikce ze strany veřejných institucí.

Historie využívání agregovaných úsudkových forecastů ve veřejné správě sahá do roku 2003, kdy tyto začaly být předmětem zájmu v USA. Ovšem široké veřejnosti je nejznámější program ACE americké agentury IARPA zabývající se pokročilým výzkumem pro zpravodajské účely. V tomto projektu, který běžel mezi lety 2010 a 2015, významně překonal vědecký tým vedený politologem Philipem E. Tetlockem očekávání zpravodajské komunity ohledně přínosů benefitů využívání predikčních turnajů pro odhadování budoucího geopolitického vývoje. Jejich výzkum (Tetlock a Gardner, 2015) ukázal, že po určité době je možné identifikovat forecastery, kteří systematicky vyhodnocují faktory tak, že za nejpravděpodobnější označí později skutečně nastalý stav přesněji a včasněji, než samotní experti.

V reakci na výsledky tohoto výzkumu byly i v jiných zemích zkoumány možnosti zavedení forecastingových turnajů pro účely veřejného rozhodování - např. COSMIC BAZAAR ve Spojeném království, forecastingový turnaj, ve kterém se stovky úředníků z Británie i jiných zemí snaží co nejpřesněji predikovat globální politický, environmentální, či ekonomický vývoj. Existuje také mnoho platforem, které se snaží popularizovat a zdokonalovat metody forecastingových turnajů nebo trhů. Jsou jimi například Metaculus či GJ Open a INFER.

Klíčovým výzkumným i společenským úkolem, kterému se v současnosti kolaborativně i individuálně věnují týmy po celém světě, je nejen uvádění dobré praxe forecastingu, ale také její rozšiřování na další témata veřejných politik.

Jedním ze zjištění opakovaně replikovaných ve vědecké literatuře (např. Moore et al., 2017) je, že i krátký, jednorázový trénink v oblasti pravděpodobnostního uvažování, kalibrace a základních postupů pro vytváření predikcí zvyšuje přesnost forecasterů v turnajích. Zároveň data naznačují, že trénink má dlouhodobé pozitivní dopady na přemýšlení lidí i mimo turnaj.

Metaculus je původně anglickojazyčná platforma pro tvorbu predikčních otázek a agregaci predikcí. Na základě vědeckého výzkumu v oblasti úsudkového forecastingu pomáhá organizacím a angažovaným skupinám získávat predikce budoucího vývoje.

Na českojazyčné verzi platformy probíhá turnaj FORPOL, v rámci kterého budou průběžně vyhlašovány výzvy s otázkami. Na hlavní stránce uvidíte vždy přehled aktuálně otevřených otázek které lze dále filtrovat např. na otázky, u kterých uživatel zatím nezadal vlastní predikci.

Ke každé otázce se váží dvě hlavní aktivity - zadávání predikcí a zveřejňování komentářů. 

Predikce lze zadávat pomocí intuitivního modulu přímo pod popisem otázky. Jelikož jsou predikce matematickým vyjádřením odhadu, lze je po uzavření otázky vyhodnotit a tedy bodově ohodnotit jednotlivé forecastery za jejich úspěšnost ve forecastingu. 

Zveřejňování komentářů není platformou vyžadováno a vzhledem ke kvalitativní povaze není možné je bodově ohodnotit na základě přímé souvislosti s budoucím stavem. Ve forecastingové komunitě ovšem komentáře slouží jako možnost sdílet své myšlení, podělit se o informativní zdroje nebo požádat o konstruktivní oponenturu vlastního názoru tak, aby bylo možné více zpřesnit predikci. Těmito způsoby nejzajímavější komentáře v každé výzvě budou ohodnoceny finančně. 

Zadávání predikcí je jednoduché - interaktivně přizpůsobte křivku pravděpodobnosti na základě Vaší vlastní úvahy o dané problematice. Barevně odlišeně je pak zobrazeno aktuální rozložení pravděpodobností dle agregace forecasterů, kteří na otázku již odpověděli.

U otázek s číselným či časovým rozptylem je součástí funkcionality i rozvržení pravděpodobnostní křivky, které umožňuje přesnější zadávání predikce. Levé a pravé kolečko slouží k indikaci prvního a třetího kvartilu, tzn. nalevo a napravo od nich by měly zůstat výsledky, u kterých se domníváte, že pravděpodobnost, že nastanou, je menší než 25%. 

Metaculus skóre je složeno ze dvou faktorů: jeden reflektuje správnost predikce jako takové, druhý o kolik “správnější” byla predikce oproti ostatním uživatelům. Čím více uživatelů na některou otázku odpoví, tím více váhy je přikládáno druhému faktoru. Samotná kalkulace je nastavena tak, aby nikdy nebylo matematicky výhodnější na otázku neodpovědět, než se pokusit o svůj nejpřesnější odhad. 

Na základě matematických pravidel skórovacího systému připravil Metaculus následující seznam zlatých pravidel pro predikce:

• Očekávaný bodový zisk je maximalizován v bodě, kdy poskytnete predikci reflektující reálnou pravděpodobnost, kterou dané otázce v té chvíli přisuzujete.
• Body jsou udělovány za to, že jste přesní, ale také za to, že jste přesnější než ostatní.
• Jelikož se bodový zisk odvíjí i od toho, kolik forecasterů se celkem účastní dané otázky, bodová hodnota otázky se v čase může měnit.
• Bodový zisk je závislý i na tom, jak dlouho je Vaše predikce zveřejněná. Proto se snažte predikovat co nejdříve po vypsání otázky, a své predikce aktualizujte, když se dozvíte nové informace, které mohou změnit situaci (např. z komentářů ostatních forecasterů).