Pomáháme institucím rozumět budoucnosti

Chci se účastnit turnaje

Forecastingové turnaje jsou příležitostí, jak dále zdokonalovat svou práci s pravděpodobností a další analytické schopnosti. 

Chci pokládat otázky

Cílem turnaje FORPOL je poskytnout veřejným institucím kvalitní expertní odhady budoucích trendů a událostí, které ovlivňují rozhodování o veřejných politikách.

O turnaji

"Forecasting je zajímavý přístup k agregování názorů na možné budoucí vývoje, který je užitečný v osobním i veřejném rozhodování."

— Petr Janský —
člen odborné rady, České priority

Hlavním cílem turnaje FORPOL (Forecasting for policy) je poskytnout veřejným institucím užitečné predikce na důležitá společenská témata. Pro účastníky je to zároveň příležitost dále se efektivně zdokonalovat ve schopnostech forecastingu. Více o tom, co je forecasting a jak přesně funguje, najdete v FAQs.

Turnaj FORPOL bude trvat 6 měsíců - od 5. října 2022 do 30. března 2023. V průběhu turnaje budou zveřejňovány otázky v rámci tematických výzev pro účely konkrétních veřejných institucí (např. “Výzva pro účely plánování ubytovacích kapacit pro uprchlíky z Ukrajiny" pro Ministerstvo pro místní rozvoj ČR). Účastníci, kteří zodpoví alespoň 75% všech otázek v turnaji obdrží certifikát a budou mít nárok na odměny za umístění - 30 nejlepších bude odměněno částkami od 2 500 Kč do 30 000 Kč.

Jedna výzva bude standardně obsahovat 3-5 otázek a trvat zpravidla 3 týdny, rozsah i délka se však může lišit podle potřeby. Výzvy budou vypisovány postupně a o vypsání nové výzvy budou účastníci informování minimálně 3 dny před jejím začátkem. V průběhu vybraných výzev se uskuteční dobrovolná on-line diskuze s oborovými experty na dané téma. Autoři nejlepších psaných komentářů v jednotlivých výzvách budou odměněni částkou 2 500 Kč

Kvalita komentářů bude posuzována zejména podle kvality a množství informací, které poskytuje ostatním účastníkům, na základě kterých mohou zlepšit vlastní predikce.

Ilustrační rozvržení možných témat:

V průběhu celého turnaje bude položeno minimálně 30 otázek. Většinou platí, že s časem stráveným rešerší a přípravou roste kvalita jednotlivých predikcí a tedy i šance forecastera na lepší umístění a výhru v turnaji. Účastníci minulého turnaje OPTIONS nejčastěji trávili jednou otázkou zhruba 1 hodinu, lze tedy očekávat, že účast v tomto turnaji zabere v průměru 1 až 2 hodiny týdně.

Protože si ceníme kvalitních predikcí a úvah více než společenského postavení nebo akademických titulů, turnaje se budete účastnit pod pseudonymem. Během turnaje dále pokračuje i OPT - Odborný predikční tým, jehož členové se turnaje zúčastní. I vy se do této elitní skupiny můžete probojovat - 30 nejpřesnějších forecasterů a jiní výjimeční účastníci budou pozváni k další spolupráci.

Nejste si jisti, jestli máte zrovna vy potenciál být “forecastery”? Dobří forecasteři jsou zvědaví, přemýšlí v širokých souvislostech a baví je zjišťovat nové informace a poznávat nová témata. Pokud něco z toho splňujete, určitě se přihlašte!

Turnaje se může účastnit kdokoliv, jedinou podmínkou je splnění vstupního tréninku, který zabere necelou hodinu.

Chcete otestovat své schopnosti predikovat budoucnost? 

Chcete znát názory forecasterů a zlepšovat se v přemýšlení o budoucnosti?

Chcete pomáhat kvalitnějšímu veřejnému rozhodování? 

Zapojte se!

Další forecastingový turnaj proběhne od 5. října 2022 do 30. března 2023.

Zaregistrovat se

Oficiální registrace již byly ukončeny. Pokud se přesto chcete k aktuálnímu turnaji připojit, kontaktujte nás na forpol@ceskepriority.cz.

Přihlásit se

Přihlášení funguje pouze pro forecastery, kteří splnili vstupní trénink a obdrželi pozvánku na platformu Metaculus.

FAQ 

FAQ o forecastingu

Co je FORPOL a jaký je jeho cíl?

FORPOL neboli "Forecasting for Policy" je společným projektem organizace České priority a organizace Metaculus. Je financován z fondu EA Infrastructure Fund a jeho hlavním cílem je ověřit relevanci forecastingu pro využití ve veřejném rozhodování. 

Co je to úsudkový forecasting?

Úsudkový forecasting je metoda pro získávání odhadů budoucího vývoje na základě pravděpodobnostního uvažování a agregace většího počtu kvalifikovaných úsudků.

Při tvorbě veřejných politik je běžné konzultovat názory širokého spektra osob a odborníků a v posledních letech se výrazně zvyšuje zájem o využití robustních a systematických metod (jak individuálně, tak i institucionálně). S rostoucím zájmem roste také potřeba zdokonalování těchto metod. 

Úsudkový forecasting pracuje s predikcemi v problematikách, které jsou nové nebo na ně neexistuje dostatek dat (např. celospolečenské dopady pandemie, dopady nových technologií, atd.) nebo které jsou vysoce komplexní (geopolitika, dopady krizových opatření, atd.).

Úsudkový forecasting vychází z kvantitativních dat, ale zohledňuje i kvalitativní vývoj. Představuje tak možnost vyhodnocení situace na základě aktuálně dostupných informací. 

Klíčovým prvkem úsudkového forecastingu je kolektivní inteligence - místo spoléhání na úsudek jednoho experta jsou agregovány odhady široké skupiny forecasterů. Dochází tak k minimalizaci informačního šumu a zkreslení, a naopak k maximalizaci objemu informací, na základě kterých jsou souhrnné predikce vytvářeny.

Nejvíce využívané aplikace úsudkového forecastingu jsou forecastingové turnaje (kde vyškolení forecasteři získávají odměny za nejpřesnější predikce) a predikční trhy (kde účastníci sází vlastní peníze na své odhady).

Forecastingové turnaje

Oproti jiným metodám agregace expertních názorů (rozhovory a panely, dotazníky, Delphi) jsou forecastingové turnaje specifické ve třech aspektech:

  1. Přesnost - Využíváním numerických nebo pravděpodobnostních predikcí namísto vágních slovních vyjádření (“nejspíše”, “s velkou pravděpodobností” atd.), je možné sdílet preciznější informace i následně upravovat a vyhodnocovat vlastní predikce. Díky tomu je také možné matematicky hodnotit přesnost predikcí a po určité době identifikovat konzistentně nadprůměrné forecastery, jejichž názorům je pak možné přikládat větší váhu - na základě objektivních kritérií.
  2. Vyváženost - Díky fungování na on-line platformě je možné zapojit řádově více účastníků s různými expertízami a zkušenostmi, a také zajistit sdílení informací.
  3. Rychlost - Je možné vést průběžnou diskuzi, což je dále podpořeno mechanismem skórování predikcí (oceňování včasných predikcí) i aspektem soutěživosti a odměnami.

Všechny vstupy jsou automaticky shromažďovány na on-line platformě, která posléze slouží jako digitální úložiště názorů a zdrojů a pro budování kapacit a učení se jednotlivců i institucí.

Jaké přínosy má forecasting?

Zlepšení vlastních schopností přesně odhadovat pravděpodobnosti budoucího vývoje může mít v zásadní dopady na kvalitu vlastního rozhodování (každodenní i velká životní rozhodnutí, investování, práce s rizikem atd).

Státy i soukromé instituce nyní častěji investují do forecastingu, protože vnímají důležitost anticipace budoucích trendů při strategickém plánování i praktickém rozhodování, které má dalekosáhlé dopady a je nutné je dělat maximálně informovaně.

  1. Spektrum problémů - Pomocí úsudkového forecastingu je možné odpovídat na zcela nové i multisektorové problémy, na které nestačí pouze matematické a statistické modely (např. dopady nových technologií, vývoj pandemie, společenské dopady konfliktů a krizí, apod.)
  2. Pravděpodobnosti - Budoucnost není možné exaktně popsat, ale je možné o ní uvažovat v pravděpodobnostech na základě znalosti předchozího vývoje a kontextuálních faktorů. Tento přístup je pro dlouhodobě udržitelnou kvalitu rozhodování zásadní, jelikož umožňuje přesné popsání faktorů, na základě kterých je daná budoucnost považována za (ne)pravděpodobnou, a zjednodušuje tak následné upravení predikcí. Forecasteři tento způsob uvažování ovládají a aktivně se snaží v něm zdokonalovat.
  3. Rozvoj dovedností - Schopnost upravovat své názory a operovat s nejistotou a nedostatkem dat je extrémně užitečná i v osobním životě. Využíváním těchto metod budujeme návyky a přenos těchto schopností i do ostatních oblastí života.

  4. Množství názorů - Úsudkový forecasting využívá tzv. “moudrost davu” - jev, kdy je průměrný názor skupiny přesnější, než názory jednotlivých členů skupiny (v 80 - 90% případů, Otis 2022), a často i přesnější než názory expertů (až o 30%, Tetlock, 2014).

  5. Spolupráce ve skupině - Úsudkový forecasting probíhá v on-line prostředí, kde spolu mohou lidé sdílet informace a úvahy, a na základě toho zlepšovat své predikce.

  6. Asynchronní sdílení informací - Čas na tvorbu predikcí a aktivitu v turnaji si rozvrhují sami forecasteři a není potřeba sladit jejich programy. Aktivita zároveň probíhá on-line, což zvyšuje efektivitu a dostupnost výměny informací, a tím kvalitu výsledných predikcí.

  7. Diverzita - V mnoha společenských problémech je důležité reflektovat zkušenosti a názory širokého spektra osob. To je možné právě díky tomu, že aktivita probíhá v on-line prostředí a poskytuje možnost participace stovkám i tisícům účastníků.

  8. Anonymita - Benefitem je i vystupování účastníků pod pseudonymy, což snižuje argumentační sílu vyplývající pouze ze společenského postavení, akademických titulů nebo rétorických schopností, a umožňuje tak přesněji identifikovat opravdové talenty.

  9. Motivace - Úsudkový forecasting pracuje s kombinací společenských, individuálních, i finančních motivací, díky kterým je možné získat široké spektrum kvalitních úvah od rozdílných forecasterů. 

  10. Kombinace kreativity a expertízy - Vedle samotných pravděpodobnostních predikcí jsou důležitým produktem i psané úvahy jednotlivých forecasterů, které je možné efektivně obohacovat názory od oborových expertů.

Jak vypadá forecastingová predikce?

Forecasteři využívají zadání otázky a případné doplňující informace k prozkoumání dané problematiky. Po zvážení takových faktorů forecasteři stanoví budoucí stav, kterou považují za nejpravděpodobnější, a v komentáři ke své predikci uvedou faktory, které je k této predikci vedly.

Výstupem důkladného forecastingu je tedy číselný údaj o pravděpodobnosti budoucího stavu a psaný komentář vysvětlující předpoklady, na základě kterých byla tato pravděpodobnost stanovena. Tyto v průběhu trvání otázky mohou na základě nově obdržených informací aktualizovat či upřesňovat, což je klíčový aspekt forecastingu.

Například u otázky “Jaká bude cena 1 kg másla v ČR v týdnu od 20. 3. 2023?” začínají forecasteři přemýšlet a vyhledávat další informace, jako například:

  • Jaká je cena 1kg másla v ČR v současné chvíli?
  • Jaké bývají historicky ceny másla v druhé polovině února?
  • Stalo se od posledního února něco významného v mlékárenském průmyslu v ČR - nová konkurence, zánik společností, regulace?
  • Liší se ceny másla v týdnech před Velikonocemi od okolních týdnů? A bude 20. 3. 2023 na dohled od Velikonoc?
  • Jsou již teď pravděpodobné události (např. nárůst cen energií), které budou muset prodejci do příštího března promítnout do cen?

Všechny následně okomentují a na závěr mohou například zhodnotit, že za nejpravděpodobnější považují, že v dané chvíli budou ceny o 15% vyšší, než o rok dříve.

Proč je dobré přemýšlet o budoucnosti?

Tzv. futures thinking, neboli přemýšlení o budoucnosti, nám pomocí různých metod umožňuje se zamýšlet nad hnacími silami změn, které budoucnost utváří, a zároveň nám poskytuje možnost odhadovat důsledky dnešního rozhodování. Cílem není stanovit “co se stane,” ale co nejpřesněji zmapovat možný budoucí vývoj a jeho důsledky, a to na základě výzkumného a tvůrčího procesu využívajícího racionální, kolektivní a kreativní myšlení. Tento přístup je důležité využívat ve veřejném rozhodování nejen při tvorbě strategií, ale i při tvorbě veřejných politik.

Jaký je rozdíl mezi forecastingem a foresightem?

Foresight je nástroj, který umožňuje odhalit budoucí výzvy a příležitosti. Výsledkem foresightu jsou například analýzy trendů, predikce nebo scénáře budoucího vývoje. Ty jsou používány státní správou zejména ve strategické práci, prioritizaci či při posuzování dopadů veřejných politik. Foresight využívá soubor kvalitativních i kvantitativních metod, které jsou obvykle založené na odborné či veřejné participaci.

Forecasting je jedna z metod foresightu (další jsou např. scénáře, horizon scanning nebo backcasting). Každá forecastingová předpověď je zaměřena na konkrétní, úzce specifikovanou veličinu a otázka je formulována na její hodnotu v budoucnosti. Výměnou za částečné “vytržení z kontextu” je fakt, že takto poskytované predikce následně mohou být konfrontovány se statisticky pozorovanými jevy a matematicky vyhodnocovány. Toto umožňuje identifikaci dobrých - přesných (resp. přesnějších, než je obvyklé) zdrojů předpovědí.

Zároveň to znamená, že forecasting je často využíván jako vstupní podklad pro statistické predikční modely, např. ve finančním sektoru. Ne vždy ovšem existují dostupné či vhodné modely, a proto se čím dál častěji využívá i úsudkový forecasting, blíže popsaný výše.

Forecasting v Česku

Pod taktovkou organizace České priority byl v průběhu roku 2021 organizován forecastingový turnaj OPTIONS, který je doposud největším projektem svého druhu v Česku. Byl financován pomocí grantu od Technologické agentury České republiky (TA ČR).

Cílem OPTION ží až po obavy z kybernetických útoků.

Výstupem tohoto projektu byla metodika využití úsudkového forecastingu ve veřejném rozhodování, kterou si můžete přečíst zde.

Projekt OPTIONS spolupracoval s několika českými vládními institucemi, které se podílely na pokládání otázek a jejichž odhady jim byly následně předloženy. Patří mezi ně například Národní úřad pro kybernetickou a informační bezpečnost (NÚKIB), Národní ústav duševního zdraví (NUDZ) nebo Národní monitorovací středisko pro drogy a závislosti Úřadu vlády (NMS).

Více informací o turnajích OPTIONS, přehled otázek položených v předchozích turnajích a predikce forecasterů si můžete prohlédnout na options.ceskepriority.cz/

Forecasting ve světě

Projekt FORPOL je zasazen do kontextu globálního zvyšujícího se povědomí a zájmu o pravděpodobnostní úsudkové predikce ze strany veřejných institucí.

Historie využívání agregovaných úsudkových forecastů ve veřejné správě sahá do roku 2003, kdy tyto začaly být předmětem zájmu v USA. Ovšem široké veřejnosti je nejznámější program ACE americké agentury IARPA zabývající se pokročilým výzkumem pro zpravodajské účely. V tomto projektu, který běžel mezi lety 2010 a 2015, významně překonal vědecký tým vedený politologem Philipem E. Tetlockem očekávání zpravodajské komunity ohledně přínosů benefitů využívání predikčních turnajů pro odhadování budoucího geopolitického vývoje. Jejich výzkum (Tetlock a Gardner, 2015) ukázal, že po určité době je možné identifikovat forecastery, kteří systematicky vyhodnocují faktory tak, že za nejpravděpodobnější označí později skutečně nastalý stav přesněji a včasněji, než samotní experti.

V reakci na výsledky tohoto výzkumu byly i v jiných zemích zkoumány možnosti zavedení forecastingových turnajů pro účely veřejného rozhodování - např. COSMIC BAZAAR ve Spojeném království, forecastingový turnaj, ve kterém se stovky úředníků z Británie i jiných zemí snaží co nejpřesněji predikovat globální politický, environmentální, či ekonomický vývoj. Existuje také mnoho platforem, které se snaží popularizovat a zdokonalovat metody forecastingových turnajů nebo trhů. Jsou jimi například Metaculus či GJ Open a INFER.

Klíčovým výzkumným i společenským úkolem, kterému se v současnosti kolaborativně i individuálně věnují týmy po celém světě, je nejen uvádění dobré praxe forecastingu, ale také její rozšiřování na další témata veřejných politik.

FAQ o turnaji

Proč je vstupní trénink povinný?

Jedním ze zjištění opakovaně replikovaných ve vědecké literatuře (např. Moore et al., 2017) je, že i krátký, jednorázový trénink v oblasti pravděpodobnostního uvažování, kalibrace a základních postupů pro vytváření predikcí zvyšuje přesnost forecasterů v turnajích. Zároveň data naznačují, že trénink má dlouhodobé pozitivní dopady na přemýšlení lidí i mimo turnaj.

Jak funguje platforma Metaculus?

Metaculus je původně anglickojazyčná platforma pro tvorbu predikčních otázek a agregaci predikcí. Na základě vědeckého výzkumu v oblasti úsudkového forecastingu pomáhá organizacím a angažovaným skupinám získávat predikce budoucího vývoje.

Na českojazyčné verzi platformy probíhá turnaj FORPOL, v rámci kterého budou průběžně vyhlašovány výzvy s otázkami. Na hlavní stránce uvidíte vždy přehled aktuálně otevřených otázek které lze dále filtrovat např. na otázky, u kterých uživatel zatím nezadal vlastní predikci.

Ke každé otázce se váží dvě hlavní aktivity - zadávání predikcí a zveřejňování komentářů

Predikce lze zadávat pomocí intuitivního modulu přímo pod popisem otázky. Jelikož jsou predikce matematickým vyjádřením odhadu, lze je po uzavření otázky vyhodnotit a tedy bodově ohodnotit jednotlivé forecastery za jejich úspěšnost ve forecastingu. 

Zveřejňování komentářů není platformou vyžadováno a vzhledem ke kvalitativní povaze není možné je bodově ohodnotit na základě přímé souvislosti s budoucím stavem. Ve forecastingové komunitě ovšem komentáře slouží jako možnost sdílet své myšlení, podělit se o informativní zdroje nebo požádat o konstruktivní oponenturu vlastního názoru tak, aby bylo možné více zpřesnit predikci. Těmito způsoby nejzajímavější komentáře v každé výzvě budou ohodnoceny finančně. 

Jak predikovat?

Zadávání predikcí je jednoduché - interaktivně přizpůsobte křivku pravděpodobnosti na základě Vaší vlastní úvahy o dané problematice. Barevně odlišeně je pak zobrazeno aktuální rozložení pravděpodobností dle agregace forecasterů, kteří na otázku již odpověděli.

U otázek s číselným či časovým rozptylem je součástí funkcionality i rozvržení pravděpodobnostní křivky, které umožňuje přesnější zadávání predikce. Levé a pravé kolečko slouží k indikaci prvního a třetího kvartilu, tzn. nalevo a napravo od nich by měly zůstat výsledky, u kterých se domníváte, že pravděpodobnost, že nastanou, je menší než 25%. 

Jak se počítají Metaculus points?

Metaculus skóre je složeno ze dvou faktorů: jeden reflektuje správnost predikce jako takové, druhý o kolik “správnější” byla predikce oproti ostatním uživatelům. Čím více uživatelů na některou otázku odpoví, tím více váhy je přikládáno druhému faktoru. Samotná kalkulace je nastavena tak, aby nikdy nebylo matematicky výhodnější na otázku neodpovědět, než se pokusit o svůj nejpřesnější odhad. 

Na základě matematických pravidel skórovacího systému připravil Metaculus následující seznam zlatých pravidel pro predikce:

  • Očekávaný bodový zisk je maximalizován v bodě, kdy poskytnete predikci reflektující reálnou pravděpodobnost, kterou dané otázce v té chvíli přisuzujete.
  • Body jsou udělovány za to, že jste přesní, ale také za to, že jste přesnější než ostatní.
  • Jelikož se bodový zisk odvíjí i od toho, kolik forecasterů se celkem účastní dané otázky, bodová hodnota otázky se v čase může měnit.
  • Bodový zisk je závislý i na tom, jak dlouho je Vaše predikce zveřejněná. Proto se snažte predikovat co nejdříve po vypsání otázky, a své predikce aktualizujte, když se dozvíte nové informace, které mohou změnit situaci (např. z komentářů ostatních forecasterů). 

Pro instituce

Stát se musí rozhodovat nejen na základě dat a poznatků ohledně toho, co víme z minulosti, ale také se s předstihem připravovat na možné budoucí vývoje a zvýšit tak svoji schopnost adekvátně reagovat. K tomu slouží metody foresightu, jejichž častější a systematičtější využívání v Českých prioritách podporujeme. Více o foresightu naleznete zde.

FORPOL aplikuje jednu z metod foresightu - úsudkový forecasting. Jeho cílem je poskytnout státním úřadům kvalifikované odhady pro jejich rozhodování.

Úsudkový forecasting je metoda pro získávání odhadů budoucího vývoje na základě pravděpodobnostního uvažování a agregace většího počtu kvalifikovaných úsudků.

Použití úsudkového forecastingu pro odhady budoucích stavů a parametrů přináší tyto výhody:

  1. Široké spektrum problematik - Pomocí úsudkového forecastingu lze reagovat na zcela nové i multisektorové otázky.
  2. Datově složitě uchopitelné jevy - Úsudkový forecasting dokáže poskytnout odhady jevů, u kterých není možné či vhodné spolehlivě použít matematické modely (např. z důvodu nedostatku či neexistence dat).
  3. Rychlost získání odhadu - Potřebné odhady lze získat relativně rychle - v řádu týdnů.
  4. Zasazení do kontextu - Jedním z klíčových produktů forecastingu nejsou pouze výsledné odhady, ale i úvahy jednotlivých forecasterů přinášející důležitý kontext pro jejich výstupy, které je zároveň možné efektivně obohacovat názory od oborových expertů.

Náš standardní postup spolupráce má tři fáze - Scoping, Forecasting a Využití.

Scoping - V této fázi vás provedeme zpravidla dvěma workshopy, kde vydefinujeme cíle a budoucí využití predikcí a vybereme témata pro forecasting. V jejich rámci pak vytvoříme finální formulace otázek.

Forecasting - Na platformě vyhlásíme novou výzvu s těmito otázkami. Forecasteři budou mít možnost predikovat a psát své úvahy zpravidla 3 týdny, během kterých proběhne i řízená debata s vybranými experty. Autory nejlepších úvah odměníme. Tato fáze probíhá transparentně, do platformy tedy budete mít celou dobu přístup.

Využití - Po závěrečné konzultaci s experty Vám poskytneme závěrečný report, který bude obsahovat agregát predikcí od ověřených forecasterů, a také shrnutí nejčastěji se vyskytujících úvah a hlavních zdůvodnění jejich výsledků. Nakonec vám poskytneme konzultaci k reálnému využití výstupů.

Celý proces může trvat 4-12 týdnů v závislosti na komplexitě problému a vašich potřebách. Projekt je financován z mezinárodních nadačních zdrojů Effective Altruism Infrastructure Fund.

Myslíte si, že by vám mohl úsudkový forecasting pomoci? Rádi byste se dozvěděli více informací o samotné metodě a možnostech využití ve vaší instituci? Neváhejte se nám ozvat. Rádi prodiskutujeme, zda by úsudkový forecasting byl vhodný pro vaše potřeby.

Kontaktujte nás

Máte dotazy k projektu FORPOL?

Jan Kleňha

vedoucí projektu
jan@ceskepriority.cz

Chcete s námi spolupracovat
nebo se na něco zeptat?


forpol@ceskepriority.cz
info@ceskepriority.cz