úterý 16. listopadu 2010

Bayes proti frekventismu



Už jsem na těchto stránkách uvěřejnil dost článků o pravděpodobnostních paradoxech, a čtenář je může snadno vyhledat kliknutím na štítek "pravděpodobnost" uvedený dole. Některé z těchto paradoxů lze korektně rozřešit, mnohé ale končily dosti neuspokojivě, bez finální odpovědi. Byly to například petrohradská loterie, paradox Šípkové Růženky, paradox roztržitého řidiče nebo paradox soudného dne. Tyto paradoxy nemají žádné konsensuální řešení. Jsou samozřejmě lidé, kteří se domnívají, že jim rozumějí, ale obvykle existuje několik navzájem se vylučujících "řešení" se svými zastánci a odpůrci, a žádná zřejmá objektivní cesta, jak je rozsoudit. V takových případech bývá moudré podívat se, kde konkrétně leží jádro sporu, a zda spor náhodou nevyvěrá z nejasně definovaného problému. Jak jsem již ve výše odkazovaných článcích naznačil, minimálně v jednom případě se odpovědi antagonistů liší proto, že to jsou z praktického hlediska odpovědi na různé otázky; tento fakt je zatemněn nepříliš jasným užitím slova pravděpodobnost.


Je proto na čase řešit otázku, co je vlastně pravděpodobnost. Ne, po přečtení tohoto článku nebude jasné, jaké je pravděpodobnost konce světa do sta let nebo co si má myslet řidič s amnézií na neoznačeném dálničním sjezdu. Pouze vyplňuji dluh, který jsem vytvořil mluvě o pravděpodobnosti bez bližšího vysvětlení.


Možná se domníváte, že je přece jasné, co je to pravděpodobnost. Nuže, příliš jasné to asi není, když existují dvě konkurenční interpretace, z nichž každá má své zastánce. Jde o interpretaci bayesovksou a interpretaci frekvenční [1].


Frekventismus je pohled, který říká, že pravděpodobnost jevu je definována jeho relativní četností (frekvencí). Při hodu kostkou má to, že padne trojka, pravděpodobnost 1/6, protože házíme-li kostkou mnohokrát po sobě, zhruba jedna šestina z hodů skončí tak, že padne trojka. Pravděpodobnosti různých událostí jsou tak objektivními vlastnostmi k nim vedoucích procesů: například, šestinová pravděpodobnost hození trojky je vlastností házení necinknutou kostkou. Frekvence, a tudíž i frekventistické pravděpodobnosti je možno měřit.


Bayesovská nebo též subjektivistická pravděpodobnost nese jméno presbyteriánského kněze Thomase Bayese, který se krom teologie zabýval i matematikou a logikou, a je autorem Bayesova vzorce zmíněného v minulém příspěvku. Důležitá role, kterou tento vzorec v rámci bayesovské pravděpodobnosti hraje, je nepochybně důvodem k pojmenování interpretace jako takové; jaký byl skutečný Bayesův osobní postoj k interpretaci pravděpodobnosti není dnes úplně jasné [2]. Bayesovci zastávají názor, že pravděpodobnost je čistě subjektivní kvantita, vyjadřující sílu víry v pravdivost výroku. Pravděpodobnosti 0 a 1 vyjadřují naprostou a nezpochybnitelnou jistotu, že udaný výrok je (ne)pravdivý, cokoli mezi pak měří míru nejistoty, ve které se kloníme k přijetí či naopak odmítnutí výroku.


Subjektivisté se obvykle s frekventisty shodnou na šestinové pravděpodobnosti toho, že na kostce padne trojka. Ale ne vždy.


Jaké jsou výhody a nevýhody obou přístupů, a v čem vlastně spočívá kontroverze? Podívejme se blíže na základní argumenty.


Pro frekventismus:
Frekventistická pravděpodobnost je jasně definovaná věc. Dá se měřit. Praktická ověřitelně fungující užití teorie pravděpodobnosti se opírají o statistickou četnost různých jevů, ať už se jedná o kvantovou fyziku, testování účinnosti léků nebo hazardní hry. Oproti tomu subjektivistická pravděpodobnost je ... subjektivní. Lidé věří různým věcem a často se neshodnou. Bayesovská síla víry, či míra důvěry, chceme-li se vyhnout náboženským asociacím, je naprosto libovolná. Pokud se kdy různí lidé na nějaké pravděpodobnosti většinově shodnou, je to vždy pravděpodobnost nějakého opakovaného jevu, kdy lze měřit jednotlivé frekvence. Zaměňovat míru důvěry a pravděpodobnost je totéž, jako zaměňovat pravdu a názor.


Nezávislým detailem je pak to, že lidé, kteří o pravděpodobnosti uvažují přímo ve smyslu relativních frekvencí, přitom činí mnohem méně chyb typu konjunkčního či prokurátorského bludu. Tato skutečnost je podložena psychologickými experimenty.


Pro subjektivismus:
Především, bayesovská pravděpodobnost není libovolná. Má subjektivní složku, ale pro zacházení s ní platí určitá pevná pravidla (která budu blíže diskutovat v některém z dalších příspěvků). Teorie pravděpodobnosti je abstraktní matematická teorie a pravděpodobnosti jsou abstraktní objekty podléhající určitým pravidlům manipulace. Není potřeba, aby byly přiřazeny k něčemu objektivně měřitelnému.


Co hůře, frekventistické užití slova "pravděpodobnost" nerespektuje jeho užití v běžném jazyce. Bežně mluvíme o pravděpodobnosti událostí, jejichž okolnosti není možno nekonečněkrát opakovat a změřit tak pravděpodobnosti jednotlivých možných výsledků. Mluvíme například o tom, jaká je pravděpodobnost, že Viktoria Plzeň vyhraje ligu, ačkoli česká první liga v letošním složení, s nynějšími hráči a za stávajících podmínek bude těžko zopakována. Podobné pravděpodobnosti mají i praktické využití, nejvýraznější příklad je kursové sázení.


Hlavní námitka je ale ta, že i ikony frekvenční pravděpodobnosti, jako je házení kostkou, se jeví mít pravděpodobnostní charakter jen díky naší neznalosti. Kostka po hodu přistane na jedné konkrétní straně, kulička rulety se zastaví na jednom určitém čísle. Kdybychom byli schopni zrakem přesně zachytit rychlost kuličky a rychle a přesně aplikovat zákony mechaniky, byli bychom s to i předpovědět, kde přesně se kulička zastaví, a proces by se přestal jevit náhodným. V podobných situacích pracujeme s pravděpodobnostmi, protože neznáme přesné detaily nebo nejsme schopni včas spočítat výsledky.


Frekvenční pravděpodobnost je navíc, přísně vzato, také subjektivní, ačkoli se to tak třeba nejeví na první pohled. K jejímu určení je nutno vymezit množinu jevů, v jejímž rámci počítáme frekvence. U onoho kanonického hodu kostkou musíme implicitně předpokládat, že kostka není cinknutá, nebo že kostkou nehází stroj přesně nastavený tak, že vždy padne šestka. Aby se vyloučily předchozí případy musí být "hod kostkou" vymezen dostatečně úzce, ale zároveň ne příliš úzce: musíme ponechat dostatečnou volnost počátečním podmínkám hodu (jeho síle, tvaru podložky atd.), abychom nevyloučili variabilitu výsledků. U kostky je ono vymezení statistické množiny intuitivně jasné a těžko u toho vzniknou spory. Když se ale obrátím na zmíněnou pravděpodobnost plzeňského titulu, jakou četnost má pravověrný frekventista vzít v úvahu? Množství titulů, které Viktoria Plzeň v historii získala, podělené buď celkovým počtem odehraných prvoligových sezon, nebo počtem sezon, kdy Plzeň v lize startovala, nebo kdy startovala v lize pod současným jménem, nebo počtem sezon v samostatné české lize (ve všech případech vyjde nula)? Množství titulů vlastněných současnými plzeňskými hráči, podělené počtem hráčů a jejich odehraných sezon? Četnost sezon, kdy podzimní půlmistr obhájil svou pozici?


A nakonec: frekventisté užívají slovo "pravděpodobnost" jako synonymum pro "četnost". Proč ale mít dvě slova pro jednu a tutéž věc? Můžeme vypracovávat matematické teorie pro četnosti, aniž bychom potřebovali je nazývat pravděpodobnostmi, a "pravděpodobnosti" nechat její subjektivní smysl, jaký nepochybně v normálním užití toho slova je přítomen.


Ačkoli se z uvedených argumentů kloním spíše na stranu přístupu bayesovského, beru na vědomí, že i argumenty frekventistů mají svou váhu. Kdykoli máme určit přesnou hodnotu pravděpodobnosti, nemajíce přitom statistický vzorek pro zjištění frekvence, dostáváme se do potíží; frekventismus je mimo jiné imunní vůči nepříjemným paradoxům točícím se kolem antropického principu a jeho variant, například paradoxu soudného dne. Je sice možné modelovat proces poznávání pomocí bayesovských sítí, je ale otázka, nakolik přesně takový přístup popisuje myšlení skutečných lidí. Na druhou stranu, frekventismus bývá často spojován s různými ne příliš košer postupy ve statistice; tyto věci ale neplynou přímo z frekvenční interpretace pravděpodobnosti, jakkoli jsou s ní v praxi korelovány. Ale o tom zase příště.


Poznámky:
1. Ve skutečnosti existuje interpretací více, ale detailnější rozlišení se opírá o rozdíly relativně malé oproti základnímu rozporu mezi Bayesovskou a frekvenční pravděpodobností.
2. Samotný Bayesův vzorec lze samozřejmě užít i v rámci frekvenčně pojaté pravděpodobnosti, či v jakékoli jiné interpretaci.

8 komentářů:

  1. Jaká bude pravděpodobnost hodu třeba šestky na šestihranné kostce ve vesmíru, kde na kostce (pseudo)náhodně padá furt šestka? Třeba po milionu hodů? A bude se v tom baysovská pravděpodobnost lišit od té frekventistické? A bude vůbec aspoň v jedné z nich možné říct, že objektivní pravděpodobnost pádu té šestky je pořád 1/6, i když ta šestka padá furt? Protože frekventisti by asi řekli, že když doteď padala furt, tak pravděpodobnost pádu šestky je prostě 1, ne? A bayesovci by to odhadli podle čeho, podle matematické pravděpodobnosti náhodného pádu šestky nebo podle toho, že ta šestka pořád padá?

    OdpovědětVymazat
  2. Pokud padá furt šestka, nezbývá než přiřadit šestce pravděpodobnost blízkou jedné. Těžko se vzpírat tak jasnému pozorování.

    Teoreticky záleží na jistých detailech. Bayesovský přístup předpokládá, že máme nějaké hypotézy o mechanismu fungování kostky, a na základě pozorování jim připisujeme pravděpodobnosti. Když padne šestka milionkrát po sobě, tak to výrazně zvyšuje pravděpodobnost hypotézy, že kostka je cinknutá ve prospěch šestky. Konkrétní pravděpodobnost téhle hypotézy závisí na její tzv. apriorní pravděpodobnosti. Pokud by apriorní pravděpodobnost toho, že kostka je férová, byla přesně 1, pak s ní žádné pozorování nepohne a bayesián bude pořád věřit, že je kostka férová a pravděpodobnost šestky je tedy 1/6. Apriorní pravděpodobnosti rovné 1 nebo 0 jsou ale zjevně iracionální, protože činí přesvědčení imunním vůči pozorování. V příštím příspěvku o tom napíšu detailně.

    Je možné, že určité verze frekventismu by stále trvaly na 1/6, bez ohledu na to, co padlo milionkrát po sobě, s tím, že frekvenční interpretace je platná až v limitě nekonečně mnoha hodů. Ačkoli se to zdá nepříliš rozumné,je těžko to vyloučit, protože z frekventismu neplynou příliš jasná pravidla pro chování se v podobných situacích.

    OdpovědětVymazat
  3. A správně by myslím mělo být šestistěnné.

    OdpovědětVymazat
  4. mě se zdá, že pokud ale přiřadím v tom případě šestce pravděpodobnost 1 (nebo blízkou 1), a zároveň budu mít zjištěno maximálně jak je možno, že kostka není cinknutá (apriorní ptravděpodobnost, řekl bych epistemická, bude tedy také blízká 1), tak tím tedy ale říkám, že existuje nějaký mechanismus způsobující, že ta šestka furt padá. Tj: vůbec není vyloučeno, že v nějakém vesmíru furt padá náhodně šestka (pokud je těch vesmírů dost). Protože ale takový vesmír nemá žádný specifický vztah k tomu odhadu pozorovatele v něm , že ta šestka bude furt padat, tak je nepravděpodobné, že v takovém vesmíru žiju. Tj. mohu určit pravděpodobnost, že žiju v náhodném šestkovém vesmíru, oproti pravděpodobnosti, že to padání šestek způsobuje něco specifického vůči té straně se šestkou (třeba to cinknutí, ale i cokoliv jiného). Tj.: pokud budu furt tvrdit, že pravděpodobnost je 1/6, tak tvrdím, že žiju v (pseudo)náhodném šestkovém vesmíru. A pak teda můžu určit pravděpodobnost, že v něm žiju Tj. vlastně, jaká je pravděpodobnost, že pravděpdobnost pádu šestky je v tomto vesmíru 1/6, že v něm tedy existují vůči té straně se šestkou jen (pseudo)náhodné jevy.

    OdpovědětVymazat
  5. Ztrácím se v tom.

    Jaký má význam uvažovat více vesmírů? Není pohodlnější a realističtější vzít prostě víc kostek?

    Mám z toho dojem, že poukazujete na to, že i u férové kostky může padnout šestka mnohokrát za sebou. Řekněme, že padne desetkrát (schválně se držím při zemi). Pravděpodobnost, že k tomu dojde, je něco jako jedna ku šedesáti milionům, ale když nechám miliardu Číňanů házet kostkou, tak se skoro jistě mezi nimi najde pár těch, jimž deset šestek v řadě padne. To je sice pravda, nicméně v tom nevidím žádný problém.

    Detailní analýza problému kostek bude v následujícím příspěvku, do komentáře se špatně píšou vzorečky.

    OdpovědětVymazat
  6. no, ten problém je podle mě v tom, zda vůbec můžeme považovat něco za objektivně nepravděpodobné. a o jiných vesmírech píšu jako o extenzi těch "více kostek": pokud mi nestačí počet hodů a kostek na zemi v tomto vesmíru, vždy můžu uvažovat i o tom, že tento počet je jen malou částí všech existujících kostek a hodů.
    řekl bych, že pravděpodobnost pádu nějakého čísla na necinknuté šestistěnné kostce a bez nějakého předchozího "nastavení" podmínek hodu (hodně přesný házecí stroj za bezvětří, s definovanou původní polohou kostky - stačilo by to vůbec? u fakt dobré kostky s ostrými hranami a dost daleko vzdálené od plochy dopadu asi ne) je 1/6 bez ohledu na to, zda nějaká kostka vůbec existuje a zda s ní někdo někde háže. proto jsem psal, že bychom měli mluvit v tomto případě a vůbec u podobných jevů spíše o pravděpodobnosti, že jsou (pseudo)náhodné, tj. že podmínky hodu nemají nějaký specifický vztah k té straně se šestkou, třeba. Protože pokud bych vždycky mohl říct, že někde jinde mohou padat nějaké jiné kombinace, pak by mě nemělo ani moc překvapit, když na své dost přesně vyvážené necinknuté kostce furt hážu šestky (vždy bych se mohl prostě odkázet na to, že na Zemi nebo v jiném vesmíru prostě někdo háže nebo může házet všechny další kombinace) - což mi ale přijde protiintuitivní. Rozhodně přece budu pokládat v takovém případě za pravděpodobnější, že kostka je cinknutá nebo je tam jiný vliv, díky kterému všechny ty šestky padají, který je spojuje (ne tedy pseudonáhodné kombinace různých vlivů, pokaždé jiné). na druhé straně, pokud mi za sebou padne třikrát šestka, měl bych si podle téhle mé logiky myslet, že je třikrát pravděpodobnější, že je kostka cinknutá, než že není - což si ale přece nemyslím, to mi taky přijde protiintuitivní... Takže v tom určitý problém vidím, ale teď jsem zvědav na vaše pokračování článku.

    OdpovědětVymazat
  7. Přesný házecí stroj by jistě stačil, když by byl dostatečně přesný. (Nenapsal jsem teď tautologii?)

    Máte-li dobrý matematický model kostky a důvod předpokládat, že ten model popisuje fyzickou kostku, pak samozřejmě kostka nemusí fyzicky existovat k tomu, abychom o ní mohli dělat pravděpodobnostní závěry.

    Pokud vám třikrát za sebou padne šestka, budete mít výšší pravděpodobnost, že je kostka cinknutá ve prospěch šestky, než na začátku. V žádném případě to ale neznamená, že pravděpodobnost cinknutosti bude větší než pravděpodobnost necinknutosti, nota bena třikrát. Závisí na apriorních pravděpodobnostech. Pokud jste si na začátku třeba myslel, že kostka je na 99% férová, a na 1% cinknutá tak, že na ní vždy padne šestka, pak po třech šestkách bude pravděpodobnost cinknutosti kolem 20%, a kostka bude férová na 80%.

    Pokračování článku vyjde každou minutou.

    OdpovědětVymazat