neděle 28. listopadu 2010

Bilance - listopad 2010


Po třech měsících od prvního podobného zhodnocení je tu další přehledový příspěvek. Původní plán se nepodařilo zcela splnit, a tak se na některé příspěvky stále čeká. Bohužel mi vypověděl službu starý laptop, a v důsledku toho momentálně nemám přístup k souborům na starém disku, což se doufám brzy změní. Výměnu počítače jsem spojil s přechodem z Windowsů na Linux (je to takhle snažší, protože prostředí zabudovaných Windows 7 je mi velmi nesympatické). Přesto doufám, že se mi podaří i nadále udržet tempo aktualizací na 7-8 měsíčně, nepočítaje v to administrativní sdělení jako je toto.

V rubrice Cesty stále dlužím slíbené reportáže z Istanbulu, Smolenska a Cardiffu. Doplnění bude mít prioritu, jakmile se dostanu k obsahu starého disku. Žádnou další reportáž na další čtvrtletku neplánuji, protože tak jako tak jsem pomalejší oproti očekávání.

Rubriku Dráhy by měla obohatit další pokračování série Historie železnic, s tématy anglického širokého rozchodu a severoamerických lokomotiv. Dlužím ještě článek o moskevských tramvajích, a přibyde i informace o instanbulské veřejné dopravě.

Rubrika Racionalita je v zásadě jediná, kde se mi podařilo splnit prakticky vše, co jsem deklaroval. Na další tři měsíce jsou zde v plánu témata konspiračních teorií a Pascalova sázka.

Do rubriky Paradoxy přibyde článek o Simpsonově paradoxu, a možná ještě jeden paradox vážící se na antropický princip. Oba plánované paradoxy připadají v úvahu i pro novou rubriku Pravděpodobnost, která se kromě toho rozroste o druhý díl článku o testování hypotéz a o článek na téma zneužívání statistiky.

Rubriky Jazyk a Rébusy by měly pokračovat obvyklým volným tempem (nezapomínám na slíbené číselné soustavy v různých jazycích).

No a v rubrice Fyzika přijdou články o šipce času a termodynamice.

Stále ještě není hotova stránka odkazů; v této věci se hodlám ještě nějakou dobu vymlouvat na technické problémy.

A nakonec, mám už statistiku přístupů. Za poslední měsíce to bylo postupně 1368, 2057 a 2355 přístupů (celkem, ne individuálních, jejich počet neznám). Nic moc, ale trend je aspoň positivní.

Etymologický zpravodaj - J

Prvním dnešním slovem je jachta. Pochází z holandského jacht, původně jagtschip, tj. honící loď (viz německé jagen). Původně to bylo označení pro rychlé pirátské lodě.

Jetel je sice rostlina, ale přeqapivě souvisí se slovem , a to tak, že sice mají pravděpodobně různý původ (jetel se odvozuje od dmout protože nadýmá, zatímco datel od dlabat), ale v praslovanštině zněla obě slova stejně. Ve staré češtině bylo dětel.

Slovo jádro sice nemá úplně jasný původ, ale zdá se, že má stejný původ se zdánlivě nepříbuznými slovy játra, útroby, vnitřní, ňadro a dokonce i s latinskou předponou inter-. Původní význam základního kořene by byl vnitřek.

úterý 23. listopadu 2010

Testování hypotéz I.


Poslední článek, ve kterém jsem vymezil dvě interpretace pravděpodobnosti – bayesovskou a frekvenční – neobsahoval příliš informací o tom, jak se oba přístupy liší prakticky. Tento dluh částečně splatím dnes. Původně jsem chtěl nejdřív poodhalit roušku frekventistické rutiny, ale diskuse pod minulým článkem mě vedla k přehození pořadí.

Budu mluvit o statistickém testování hypotéz. Porovnávání hypotéz a teorií s pozorováním patří k základům vědecké praxe. V ideálním případě položíme vedle sebe výsledek experimentu a předpověď teorie; shodují-li se, je teorie, aspoň v příslušné části, dobře, liší-li se, můžeme teorii zahodit. Reálné teorie ale obsahují prostor pro vliv náhody, ať už následkem chyb stanovení vstupních dat (typické pro všechny vědy, kde je nutné něco měřit), nebo nedostatečných znalostí o měřeném vzorku (třeba v lékařských pokusech), či je-li náhoda přímou součástí teorie (kvantová fyzika). V takových případech ale žádný výsledek jednoznačně neurčí, zda teorie je dobře nebo špatně. Odchylka může být způsobena právě vlivem náhody. Kdybychom se ale spokojili s takovýmto tvrzením, nikdy bychom nebyli schopni říct, zda předložená teorie je dobře nebo špatně. Míra shody zjištěných faktů s teoretickou předpovědí přitom musí nějak ovlivňovat náš postoj k testované teorii.

Bayesovský přístup se vyznačuje tím, že každé teorii je přiřazena pravděpodobnost její platnosti. Porovnání experimentu s teorií pak níže popsaným postupem ovlivňuje tuto pravděpodobnost. Dobře otestované teorie mají pravděpodobnost blízkou 1, teorie vzpírající se pozorování ji mají blízkou 0. V rámci frekvenční interpretace pravděpodobnosti toto nelze činit, protože pravděpodobnost teorií nelze smysluplně interpretovat v jazyce četností. Proto jsou s frekventismem asociovány jiné metody testování (více v příštím článku), které porovnávají statistické soubory získané experimentem s teoretickou předpovědí, a teorii prohlásí za vyvrácenou, pokud odlišnost přesahuje určitou stanovenou velikost. Bayesiáni samozřejmě také mohou hovořit o vyvrácených nebo potvrzených teoriích, tato slova ale nemají striktně technický smysl, a jsou pouze zkratkou za velmi velkou, respektive velmi malou pravděpodobnost.

Osudí s kuličkami
Je dobrým zvykem různé aspekty pravděpodobnostní analýzy ilustrovat na příkladu házení kostkou nebo micní. K házení mincí se dostanu na konci dnešního článku; z jistých důvodů považuji pro začátek za vhodnější jiný příklad, a to pytel s kuličkami. Mějme pytel, ve kterém je určité množství kuliček, které jsou buď černé nebo bílé. Z důvodu jednoduchosti výpočtů je v rámci této ilustrace příjemné držet počet kuliček nízký, nechť jsou tedy kuličky třeba tři (zobecnění na libovolný počet kuliček je prosté). Máme za úkol zjistit, jaký je poměr počtu černých a bílých. Můžeme z pytle po jedné tahat kuličky (poslepu, předpokládá se, že po hmatu nelze barvu poznat, takže výběr je skutečně, na rozdíl od karlovarské praxe, náhodný). Po každém tahu ale musíme kuličku vrátit zpět do osudí (dá-li se pytel nazvat osudím) a zamíchat.

Takže, kolik kuliček je černých?

Je jasné, že popsaným způsobem se to s absolutní jistotou nikdy nedozvíme. Na druhé straně, pokud kuličku táhnu milionkrát a vytáhnu černou v 665 934 případech, je velmi pravděpodobné, že poměr černých k bílým je 2:1. Zbývá říct, jak přesně je to pravděpodobné.

Otázku na počet černých kuliček můžu dostat hned na počátku, dříve než vytáhnu první kuličku z osudí. Jedna z určujících vlastností bayesovského přístupu je to, že musím být připraven na tuto otázku odpovědět. Nemusím si samozřejmě být jist, ale musím každé v úvahu připadající odpovědi přiřadit pravděpodobnost. Frekventista v takové situaci může různě kličkovat: může například tvrdit, že dokud není k dispozici statistický soubor dat, není nic, z čeho by šlo pravděpodobnost spočítat, a otázka tak nemá smysl. Bayesián musí odněkud vytáhnout pravděpodobnosti. Tyto pravděpodobnosti se nazývají apriorní.

Odkud se berou apriorní pravděpodobnosti? Odpověď je, že odkudkoli. Z předsudků, obecných úvah, odhadů. Cynická odpověď je, že apriorní pravděpodobnosti si bayesián prostě vycucá z prstu.

Existuje samozřejmě pár osvědčených a konsensuálních způsobů, jak apriorní pravděpodobnosti z prstu konkrétně cucat. Nejpřirozenější se často jeví každé logicky přípustné hypotéze dát stejnou pravděpodobnost, nebo obecněji, v případě nekonečného množství přípustných hypotéz, užít principu maximální entropie. Jsou ovšem situace, kdy tento rovnostářský přístup selhává. Bylo by například zvláštní, kdyby porota na začátku soudního jednání apriorně přiřadila stejnou pravděpodobnost hypotézám A) otisk obžalovaného se na místo činu dostal proto, že obžalovaný na místě byl a B) otisk se tam dostal tak, že skutečný pachatel podplatil sekretářku obžalovaného, ta mu dala do kávy rohypnol, ve spánku mu pak sejmula otisk a předala jej pachateli, který ho potom za pomocí pokročilých technologií přenesl na místo činu. V podobných případech bývá zvykem aplikovat něco na způsob Occamovy břitvy, tj. dávat vyšší apriorní pravděpodobnost jednodušším hypotézám.

V našem modelovém případě připadá v úvahu pouze konečné množství srovnatelně složitých hypotéz, a to, že poměr černé:bílé je A) 3:0, B) 2:1, C) 1:2 a D) 0:3. Přiřadíme tedy každé z možností apriorní pravděpodobnost 0,25. Radši ještě jednou zdůrazním, že toto nejsou jediné správné hodnoty apriorních pravděpodobností. Můžu třeba volit

P(A) = P(D) = 0,125,
P(B) = P(C) = 0,375,

[1] nebo jakkoli jinak. Nakonec, když mi důvěryhodná osoba předem poví, že viděla, jak se do osudí kuličky dávají, a že jsou tam dvě černé, byla by blbost přikládat možnosti B stejnou pravděpodobnost jako zbylým třem [2].

Subjektivita apriorní pravděpodobnosti může na první pohled připomínat postmoderní relativismus, který si libuje v množství subjektivních "pravd" a jakýchkoli pevných pravidel se štítí jako čert kříže. První pohled je ale v tomto případě zavádějící. Jakkoli jsou totiž apriorní pravděpodobnosti libovolné, získaná statistická data na ně mají jednoznačný vliv.

Ať už jsou apriorní pravděpodobnosti jakékoli, naším úkolem je říct, jak svůj pohled na věc upravíme poté, co z osudí vytáhneme několik kuliček. Kupříkladu v okamžiku, kdy vytáhneme poprvé černou kuličku, padne hypotéza D, která tvrdí, že v osudí jsou pouze bílé kuličky. I ostatní pravděpodobnosti se změní. Každá další vytažená černá kulička zvyšuje (respektive nesnižuje [3]) pravděpodobnost možností A a B, zatímco bílé kuličky vypovídají pro konkurenční teorie C a D. S každým pozorováním - to znamená s každou kuličkou - jsme povinni aktualizovat sadu pravděpodobností.

A takhle to vypadá konkrétně:

Před prvním tahem:
Na počátku máme stav

P0(A) = P0(B) = P0(C) = P0(D) = 1/4.

(index 0 značí počet provedených tahů jejichž výsledek je v pravděpodobnosti zahrnut - to je v tuto chvíli žádný). Řekněme, že první vytažená kulička je černá. Víme, jaká je pravděpodobnost vytažení černé kuličky v případě, kdy platí jednotlivé hypotézy:

P(č|A) = 1
P(č|B) = 2/3
P(č|C) = 1/3
P(č|D) = 0

Co potřebujeme udělat, je obrátit tyto podmíněné pravděpodobnosti. Tedy ze znalosti pravděpodobnosti vytažení černé kuličky, platí-li hypotéza A, chceme získat pravděpodobnost, že platí A, když jsme vytáhli černou kuličku. Pochopitelně, použijeme Bayesův vzorec

P1(A) = P(A|č) = P(č|A)P0(A) / P0(č).

Pravděpodobnost P0(č) je celková nepodmíněná pravděpodobnost, že vytáhneme černou kuličku. Spočteme ji z podmíněných pravděpodobností

P0(č) = P(č|A)P0(A) + P(č|B)P0(B) + P(č|C)P0(C) + P(č|D)P0(D) = 1/2.


Po prvním tahu a druhý tah
Se zahrnutím všech potřebných dat vypadají aposteriorní pravděpodobnosti po vytažení jedné černé kuličky takto:

P1(A) = 1/2
P1(B) = 1/3
P1(C) = 1/6
P1(D) = 0


Je vidět, že jediný pokus pohnul s pravděpodobnostmi vcelku znatelně, ale odepsat zatím můžeme pouze hypotézu D. Takže kuličku vrátíme a táhneme znovu. Řekněme, že vyjde černá. Musíme tedy opakovat celý postup znovu, ovšem s tou změnou, že aposteriorní pravděpodobnosti z předchozího kroku budou hrát roli apriorních pravděpodobností. Odpovídajícím způsobem se také změní P(č), již je nutno přepočítat s užitím nových apriorních pravděpodobností, místo 1/2 odpovídající čistě symetrickému rozložení pravděpodobnosti mezi čenými a bílými máme v tuto chvíli P1(č) = 7/9. Po provedení celé mašinérie jsou aposteriorní pravděpodobnosti

P2(A) = 9/14
P2(B) = 4/14
P2(C) = 1/14
P2(D) = 0


Třetí tah a dál...
Nechť pro změnu ve třetím tahu vytáhneme bílou kuličku. Aktualizace pravděpodobností je tentýž rutinní proces jako předtím. Tento rutinní proces je ale schopen způsobit v hierarchii pravděpodobností malou revoluci: doposavad nejpravděpodobnější hypotéza A je eliminována, a dostaneme

P2(A) = P2(D) = 0
P2(B) = 2/3
P2(C) = 1/3

A tak pořád dál.

Čtenář si může snadno ověřit, že ke stejným pravděpodobnostem by bylo možno dospět i kdyby byly kuličky taženy v jiném pořadí; vytáhnu-li dvakrát černou a jednou bílou, je dvoutřetinová pravděpodobnost, že v osudí jsou dvě čené a jedna bílá, nezávisle na pořadí, v jakém jsem táhnul (tyto konkrétní hodnoty pochopitelně za předpokladu, že začínám s rovnoměrným apriorním rozdělením, nezávislost na pořadí ale platí obecně).

Co je ale důležitější, výslednou pravděpodobnost po třech tazích není nutné počítat pomocí aktualizace po každém tahu zvlášť. Ke stejnému výsledku dojdeme přímo:

P2(B) = P(ččb|B)P(B) / P(ččb)

Zde pravděpodobnost sekvence ččb za předpokladu hypotézy B (tj. dvě černé v osudí) je 4/27 a celková (apriorní) pravděpodobnost ččb, která vystupuje ve jmenovateli, je 1/18. Výsledek je podle očekávání 2/3.

Možnost aktualizovat pravděpodobnosti až za celý statistický soubor najednou se hodí v situacích typu "spočítej pravděpodobnost, že v osudí jsou dvě černé, když z tisíce tahů byla černá tažena právě 712krát". Dělat tisíc aktualizací by byla odporná činnost.

Předchozí má ale možná ještě důležitější aspekt: jakmile aktualizuji své pravděpodobnosti, můžu zapomenou na data, která jsem k tomu použil. Když pak získám nová data, nemusím je připojit ke starým a udělat statistickou analýzy s celým sjednoceným souborem. Stačí použít pouze nová data s tím, že aposteriorní pravděpodobnosti starých dat užiji jako apriorní pravděpodobnosti nové analýzy. Pochopitelně ale nesmím žádná data užít dvakrát.

Mince
K ilustraci procesu aktualizace bayesovských pravděpodobností jsem použil osudí s kuličkami místo možná přirozenějšího házení mincí nebo kostkou. Vedl mě k tomu prostý fakt, že zatímco u osudí je počet rozumných hypotéz konečný, přirozená analogie s házení kostkou vede ke složitější situaci, kde je nutno uvažovat spojitá rozdělení pravděpodobnosti. Přestože je postup pro hod mincí pouze přímočarým zobecněním toho, co se dělalo s kuličkami, stručně jej popíšu (zobecnění na kostku již přenechám čtenářům). Mimo jiné i proto, že se jedná o model, který je velmi podobný reálným statistickým problémům, jako je testování léků nebo měření fyzikálních konstant.

Pokud házíme mincí, obvykle nás zajímá pravděpodobnost, že padne hlava nebo orel (mince v myšlených experimentech na sobě mají vždy hlavu a orla, zřejmě aby byl jasný rozdíl od reálných mincí). Když neuvažujeme detaily provedení hodu, závisí tato pravděpodobnost na fyzikálních vlastnostech mince, jako je její vyvážení, tvarování okraje a podobně. Pokud mince padá stejně často orlem navrch i hlavou navrch, říkám, že je férová. Není-li tomu tak, budu mluvit o cinknuté minci ve prospěch buď hlavy, nebo orla [4].

Míru cinknutosti mince nechť parametrizuje číslo h, a to přirozeným způsobem: h je relativní frekvence hodů, kdy padne hlava. Číslo h je fyzikální parametr charakterizující minci, z bayesovského hlediska to tedy není pravděpodobnost (i když, "shodou okolností", jeho správná hodnota je rovna pravděpodobnosti hypotézy, že při hodu padne hlava). Naopak, budeme se ptát po rozdělení pravděpodobnosti čísla h. (Kdybychom přeci jen o h mluvili jako o pravděpodobnosti, pak bychom byli nuceni mluvit o "pravděpodobnosti pravděpodobnosti", a možná i k jiným nepěknostem. Z hlediska přehlednosti je skutečně lepší považovat h primárně za fyzikální konstantu definující konkrétní hypotézu; různé relevantní pravděpodobnosti se z ní dají spočítat, a jedna z nich, konkrétně P(hlava|h), je přímo rovna hodnotě konstanty.)

Na počátku musíme, jako obvykle, určit apriorní rozdělení hustoty pravděpodobnosti P(h). Nechť je naše absolutní neznalost vyjádřena rovnoměrným rozdělením na intervalu (0,1) [5], tedy P(h) = 1. Nechť v prvním hodu padne hlava. Aposteriorní rozdělení je znovu dáno Bayesovým vzorcem, který v tuto chvíli vypadá takto:

P(h|hlava) = P(hlava|h) P(h) / P(hlava).

Jak již bylo uvedeno, je P(hlava|h) = h a P(h) = 1. Zbývá určit P(hlava), což je, jako obvykle, přesčítaná pravděpodobnost P(hlava|h) přes všechny možná h. Jediný rozdíl oproti kuličkovému modelu je, že hypotézy tvoří kontinuum, a tak sčítání nahradí integrace:

P(hlava) = ∫ P(hlava|h)P(h) dh = ∫ 1 dh = 1/2.

(Integruje se od nuly do jedné, nevím ale, jak v html vysázet meze integrace, aby to vypadalo aspoň trochu normálně.) Ve výsledku máme aposteriorní rozdělení pravděpodobnosti po hození jedné hlavy rovno

P(h|hlava) = 2h.

Další postup je zřejmý...

Námitky, protiargumenty, podivnosti
Bayesiánství sice představuje konsistentní model pro práci se statistikou, ale má i své nevýhody, ať už skutečné, nebo zdánlivé. Jako překážka se může jevit třeba to, že potřebujeme několik konkurenčních hypotéz, abychom mohli smysluplně pravděpodobnosti aktualizovat. Když se tedy ptáme "nakolik pravděpodobná je hypotéza X", pak musíme jasně říct, jaké jsou alternativy. Alespoň tak jasně, abychom byli schopni spočítat pravděpodobnost získaných statistických dat za předpokladu, že X neplatí. To je docela nepříjemné omezení. Dost často totiž alternativní teorie nejsou k dispozici. Vezmeme-li za bernou minci historickou zkušenost, pak naše současné teorie ve fyzice budou téměř jistě jednoho dne překonány nějakou lepší teorií. Jenže dokud nevíme, jaká tato lepší teorie je, nemůžeme ji zahrnout do statistické analýzy. Ve výsledku toho jako alternativa kvantové mechaniky může stát newtonovská mechanika a třeba aristotelská mechanika (je-li něco takového vůbec jednoznačně formulováno), a z příslušného porovnání této sady teorií s daty vychází, že kvantová mechanika je téměř stoprocentně jistá. Problém je, že by to vycházelo i v situaci, kdyby kvantová mechanika nebyla příliš v souladu s daty - stačilo by, aby konkurenční teorie byly s daty v ještě mnohem větším rozporu.

Uvedený problém se dá částečně obejít postulováním nějaké velmi obecné hypotézy typu "výsledky měření jsou naprosto náhodné". Ve statistickém žargonu se tomu říká nulová hypotéza a hraje roli i ve frekventistickém testování hypotéz. Jelikož nulová hypotéza je k dispozici vždy, máme prakticky vždy s čím porovnávat, a hypotézy má smysl testovat i tehdy, nemají-li zrovna konkurenční alternativy.

S předchozí námitkou souvisí nejasnost v tom, jaké všechny hypotézy je třeba brát v potaz. V obou případech, které jsem zde popisoval, jsem předpokládal, že jednotlivá "měření" - ať už tažení z osudí nebo hody mincí - nejsou korelovaná. U mince ale třeba přichází v úvahu možnost, že se hodnoty pravidelně střídají, takže po hození hlavy je pravděpodobnější, že padne orel, a naopak. Takováto ztělesnění hráčského bludu jsem neuvažoval, protože jejich platnost by vyžadovala, aby v minci byl zabudován jakýsi mechanismus s pamětí, ale přísně vzato by do analýzy měly být zahrnuty. Je rozumné podobným překomplikovaným teoriím přiřadit od začátku nízké apriorní pravděpodobnosti. Protože si ale člověk může vymyslet podobných teorií miliardy, prakticky není možné počítat se všemi. Reálná bayesovská aktualizace tak vždy bere v úvahu jen malou podskupinu a priori nejpravděpodobnějších hypotéz.

Subjektivita apriorních pravděpodobností byla již zmíněna. Je to asi nejnápadnější potenciálně problematický rys pravděpodobnostního subjektivismu. Naráží na silné přesvědčení, že ve vědě má být vše objektivní a jednoznačné. Ačkoli je absence objektivity asi nejčastěji zmiňovaným nedostatkem bayesiánství, osobně považuji tuto výtku za lichou. Jisté úrovně subjektivity se totiž nelze zbavit. Frekventismus ve svých praktických vtěleních není roven bayesiánství bez subjektivity, spíš je ekvivalentní bayesiánství s přidanými pevnými pravidly o konsensuální volbě apriorních pravděpodobností. Existence takových pravidel je v praktické rovině přínosná, protože umožňuje eliminovat předpojatost a další neřesti přítomné v každém subjektivním hodnocení. To ale neznamená, že je praktický frekventismus blíže reálnému popisu procesu poznávání [6].

Ať už je bayesovský přístup jakkoli subjetivní ve věci apriorní pravděpodobnosti, je velmi objektivní ve vztahu k datům. Pozorování vždy tlačí pravděpodobnosti jedním směrem, nezávisle na apriorním stavu. V ideální limitě, po posouzení nekonečného množství dat, se pak všichni pozorovatelé musí shodnout na výsledku (s výjimkou těch, kteří správné hypotéze přisuzovali na začátku přesně nulovou pravděpodobnost; před přesně nulovými (a přesně jednotkovými) pravděpodobnostmi je třeba varovat.

Důležitá praktická poznámka: Apriorní pravděpodobnosti jsou apriorní od toho, že se stanovují předem. Potenciálně lákavou praxí by bylo vsadit apriorní pravděpodobnost P0 naší oblíbené teorie do analýzy jako proměnnou, spočítat, jak na ní závisí výsledná pravděpodobnost aposteriorní P, a potom příslušně naštelovat hodnotu P0 tak, aby P vyšlo dostatečně vysoké a my mohli oblíbené teorii pořád věřit. Tak takhle ne!

Nakonec a pro úplnost, může se objevit námitka, že popsaný způsob uvažování může člověka vést k mylným závěrům. Když hodím tisíckrát za sebou orla, nabydu zákonitě přesvědčení, že mince je téměř jistě cinknutá ve prospěch orla. Přitom, i s férovou mincí se může stát, že těch tisíc orlů padne (koneckonců, tisíc orlů není o nic méně pravděpodobný výsledek než jakákoli jiná konkrétní posloupnost tisíci hodů). V takové situaci pak zákonitě dojdu k chybnému výsledku. Podle mého soudu je to ale klad, nikoli nevýhoda, zvoleného přístupu. Jestliže má nějaký postup vést k odhalení pravdy, musí být citlivý ke vstupním datům. A tato citlivost souvisí s tím, že jsou-li díky náhodným vlivům data matoucí, je z nich odvozený závěr nesprávný. Žádná testovací procedura nemůže být vůči podobnému zmatení imunní.


Poznámky:
1. Toto rozdělení apriorních pravděpodobností můžeme podložit například následující úvahou: Pokud ten, kdo osudí připravil, losoval barvu pro každou kuličku zvlášť, tak mohl vylosovat osm sekvencí: ččč, ččb, čbč, čbb, bčč, bčb, bbč, bbb. Z nich po jedné odpovídá hypotézám A a D a po třech hypotézám B a C. Odtud uvedené pravděpodobnosti. "Správnost" takto zvolených apriorních pravděpodobností samozřejmě závisí na tom, zda skutečně autor osudí losoval každou kuličku zvlášť, nebo naopak nejdřív vylosovat číslo od nuly do tří a podle něho pak vybral počet kuliček.
2. Apriorní pravděpodobnost nemusí být úplně vycucaná z prstu, naopak, je rozumné ji zakládat na všech známých relevantních informacích. Apriornost je relativní: výsledná pravděpodobnost podložená rozsáhlou statistikou může sloužit jako apriorní pravděpodobnost třeba pro další ještě detailnější zkoumání.
3. Pravděpodobnosti A a D mohou kdykoli spadnout na nulu; pokud se tak stane, tak už je samozřejmě žádné další pozorování neresuscituje.
4. Není asi příliš těžké cinknout kostku, ale relativně těžko si představuji, jak udělat totéž s mincí. Přesto jsem volil příklad s mincí, protože její cinknutí lze parametrizovat jedním číslem, zatímco u kostky jich musíme mít přinejmenším pět.
5. V souladu s poznámkou [4] je nutno přiznat, že rovnoměrné rozdělení je dost hloupou apriorní pravděpodobností, už jen proto, že udělat minci tak, že při házení na ní padne vždycky hlava a nikdy orel je zjevně nemožné (tedy když vyloučíme podvodnickou minci s hlavou na obou stranách). Příklad ale uvádím jako ilustraci bayesovské aktualizace, ne jako ilustraci chytré volby apriorní pravděpodobnosti.
6. Současný "prakticky frekventistický" standard v posuzování vědeckých teorií bych přirovnal k zásadám soudního jednání. Jsou situace, kdy je třeba obžalovaného osvobodit, přestože jeho vina je nade vší pochybnost zřejmá. Stává se tak v situacích, kdy důkazy svědčící o jeho vině mluví jasně, ale jedná se o typ důkazů, který zákon nepřipouští, zpravidla proto, že v době přijetí zákona si podobnou konfiguraci důkazů nikdo nebyl schopen představit. I když tedy o vině obžalovaného není pochyb, je přesto dána přednost zákonné normě, protože přijetí nezákonných důkazů v jednom případě by otřáslo zásadou zákonnosti a vedlo by k právní nejistotě. V důsledku by sice jeden rozsudek byl spravedlivější, ale rozvolnění norem by hrozilo otevřít cestu zaujatosti a nespravedlnosti v případech, které nejsou tak jasné.

pátek 19. listopadu 2010

Odkazy

(stránka permanentně ve výstavbě)

Vzhledem k poněkud omezeným možnostem vestavěného systému odkazů jsem se rozhodl své odkazy shromáždit na samostatnou stránku ve formě standardního (v budoucnu průběžně upravovaného) příspěvku. To mi umožní u odkazů uvést stručný popis stránek, a odkazy tematicky řadit. V postranním panelu bude nadále pouze odkaz na tento příspěvek.

Odkazy v seznamu jsou stránky, které pravidelně sleduji (přesný význam slova "pravidelně" ponechávám nespecifikovaný). Neuvádím odkazy na Seznam, Wikipedii, Google a podobné známé servery, navzdory tomu, že je "sleduji" častěji, než cokoli jiného. Odkazy jsou přibližně tématicky řazené.

Přítomnost odkazu zde nijak neimplikuje, že s názory uvedenými na dané stránce souhlasím.

Racionalita a skepticismus

Massive Error. Blog F.Tvrdého o filosofii, vědě a ateismu sestává z komentářů k aktuálně publikovaným článkům, novým objevům, probíhajícím politickým a filosofickým debatám. Články bývají relativně stručné (byť ne příliš), zpravidla vtipné a nekompromisní; nadpis vždy odkazuje na to, co konkrétní článek komentuje. Autor je zaměřením klasický skeptik, odmítající pověry, náboženství, alternativní medicínu, kontinentální filosofii a další podobné věci. Aktualizace častá, někdy i vícekrát denně. Komentování možné, byť delší diskuse nebývají příliš časté (chcete-li komentovat, doporučuji podepsat se plným jménem). Česky.

Roman Polach. Blog na iDNESu je zaměřen na klasická skeptická témata: nové objevy, pseudověda, náboženství. Komentování možné, diskuse bývá bouřlivá a její úroveň je nevalná, jak už vyplývá z umístění stránek. Česky.

Marek Picha. Bohužel zřídka aktualizované stránky věnující se logice, především pomocí rozboru reálných argumentů a poukazování na jejich nedostatky. Komentovat nelze. Česky.

Sisyfos. Web Českého klubu skeptiků, jehož tematické zaměření snad není nutno blíže popisovat. Nové články na titulní stránce se objevují řádově v měsíčních intervalech, ale stránky disponují velkým množstvím odkazů a rozsáhlým archivem. Česky.

Less Wrong. Něco mezi komunitním blogem a diskusním fórem, s podle mého soudu nejlepším souborem materiálů na téma racionality. Značná část přispěvatelů se zaobírá problematikou umělé inteligence, a další úchylkou je silný zájem o kryoniku. Okruh témat ale zahrnuje filosofii, kognitivní vědu, morálku, teorii her, kvantovou fyziku, logické paradoxy a další. Kvalitní jsou především starší články archivované jako Posloupnosti. K diskusi je nutná registrace. Anglicky.

Overcoming bias. Původně blog R.Hansona a E.Yudkowského o kognitivních chybách a racionalitě, ze kterého se oddělil výše odkazovaný Less Wrong. Jako autor dnes pokračuje pouze Hanson, a téma je nejsnáze charakterizovat právě vlastnostmi autora, který je jednak ekonom, ale především cynik, jehož oblíbená teorie je, že většina lidského jednání je motivována snahou o posun směrem vzhůru na společenském žebříčku. Aktualizace časté, komentáře možné. Anglicky.

You Are Not So Smart. Blog D.McRaneyho věnovaný chybám v úsudku, kterých se lidé systematicky dopuštějí. Příspěvky jsou psány čtivě a jsou přitom podložené fakty (včetně odkazů). Diskuse možná, aktualizace v poslední době ne tak časté, ale archiv je poměrně rozsáhlý. Anglicky.

Depleted Cranium. "Blog o špatné vědě" kritizuje chyby a absurdity činěné ve spojitosti s vědou, ať už se konkrétně jedná o alternativní medicínu nebo protijaderný aktivismus. Články jsou obvykle psány informovaně s udáním spolehlivých faktů. Zásadní estetický problém ale je to, že autor neumí pravopis vlastního jazyka a zřejmě se ani nenaučil používat spellchecker. Komentáře jsou možné, diskuse bývá na rozumné úrovni, i když se v ní občas objeví někdo "z druhé strany barikády". Anglicky.

Measure of doubt. Těžko stručně vymezit okruh témat tohoto blogu, ale mám podezření, že zdejším pravidelným čtenářům by se líbil. Anglicky.

Daylight Atheism. Jeden z amerických ateistických blogů, často se věnuje kritickému rozboru argumentů křesťasnských apologetů nebo kreacionistů. Značná část je věnována specificky americkým tématům. Komentáře možné, bývají na relativně slušné úrovni. Pochopitelně anglicky.

Skeptic's Annotated Bible. Celý text Bible, Koránu a Knihy Mormonů v angličtině opatřený komentáři z pohledu nevěřícího skeptika. K dispozici jsou seznamy nekonsistencí, problematických pasáží, absurdních tvrzení, ale i dobrých doporučení obsažených v každém ze tří svatých textů.

Źeleznice, tramvaje, doprava

The European railway server. Obsahuje informace o železnicích ve všech evropských zemích, včetně některých odkazů. Hlavní náplní je ale fotogalerie, ve které lze najít pravděpodobně každý typ lokomotivy, elektrické nebo motorové jednotky, vagonu, tramvaje a trolejbusu provozovaný dnes v Evropě (a něco málo i z jiných kontinentů). Anglicky.

The Man in Seat Sixty-One. Stránka plná informací o cestování vlakem po Evropě. Jelikož je autor Angličan, je stránka optimalizována pro obyvatele britských ostrovů, kteří zde najdou doporučené spoje, přestupy, jízdní řády, tarif, popis a fotografie vozů a kupé a další potřebné informace. Mnoho z těchto informací se může hodit i pro Čechy, zejména pro cesty do Británie nebo naopak na východ Evropy. Anglicky.

K-Report. Občasně aktualizované české stránky s železniční tématikou. Přidružené fórum obsahuje aktuální informace o všech druzích dopravy. Česky.

Želpage. Stránky věnující se především železniční fotografii, v menší míře pak informacím o novinkách na železnici. Česky a slovensky.

Tramways du monde. Snímky z více než 170 tramvajových provozů celého světa, pořízené za posledních dvacet let. Pravidelně aktualizováno. Francouzsky.

World Tramways. Současná i historická schémata tramvajových sítí. V současnosti přes 90 měst z 25 zemí. Anglicky.

KIJ film. Jedinečný soubor videí pořízených z kabiny řidiče tramvaje či strojvedoucího. Mapuje prakticky celou síť tramvají v Praze, Brně, Plzni, Liberci, Olomouci a Mostu, některé linky v Bratislavě a pár železničních tratí. Česky.

Humor

xkcd. Webový komiks. Anglicky.

Engrish.com. Anglické nápisy vyfotografované na Dálném Východě. Škoda, že podobná stránka neexistuje i pro češtinu, i když bychom se museli většinou omezit na produkci tuzemských čínských restaurací.

Různé

Cosmic Variance. Blog Seana Carrolla, hlavně, ale ne výhradně o fyzice. Komentáře možné. Anglicky.

The Reference Frame. Fyzikální blog Luboše Motla. Často aktualizováno, komentáře možné. Anglicky.

Essays. Řada zajímavých článků Paula Grahama. Anglicky.

raikoth.net. Několik dalších esejů, mimo jiné vtipná a racionální kritika libertariánství. Anglicky.

Paul Falstad. Javovské interaktivní applety simulující vlnění, elektromegnetismus, diferenciální rovnice apod. A k tomu spousta odkazů. Anglicky.

Richard Wiseman. Optické a jiné iluze, a k tomu každý pátek jedna hádanka. (Zdejší Pondělní šifry jsem začal vydávat dříve, než jsem na Wisemanův blog narazil, takže je to pouhá shoda okolností.) Anglicky.

Optical Illusions and Visual Phenomena. Zajímavá sbírka více než devadesáti optických klamů. Anglicky a německy.

Paleoglot. Blog o zaniklých jazycích a etymologii. Anglicky.

Omniglot. Rozsáhlé a podrobné stránky obsahující informace o prakticky všech aspoň trochu významných jazycích a písmech (a mnohých nevýznamných k tomu). Přidružený blog s obecně jazykovou tématikou a pravidelnými kvizy, kde si člověk může vyzkoušet schopnost rozpoznat cizí jazyky podle nahrávky (doba „jednoduchých“ jazyků typu švédštiny nebo turečtiny je ovšem dávno pryč). Jak stránky, tak blog jsou často aktualizovány. Anglicky.

Dříve sledované

Amor Vacui. Blog J.Poláka obsahoval čas od času zajímavé téma týkající se racionality, vědy nebo filosofie. Autor v mnoha otázkách zaujímal skeptické postoje, má však pro mě těžko pochopitelný sklon k jistým druhům okultismu, což se projevuje u nezanedbatelné části jeho článků. V poslední době je sklon k okultismu patrnější, přestal jsem proto blog pravidelně navštěvovat. Komentáře možné, diskuse bývá na slušné úrovni. Česky.

pinus@chicago. Ekonomický blog J.Borovičky. Dříve často aktualizováno, komentáře byly možné. Dnes je blog ukončen a funguje pouze jako archiv. Česky.

Britské listy. Internetový deník, kam jsem napsal pár článků, většinou ve formě rozhořčených reakcí. Poměrně liberální publikační politika Blistů vede k nepříliš vysoké úrovni většiny článků. V poslední době jsem přestal číst. Česky.

úterý 16. listopadu 2010

Bayes proti frekventismu



Už jsem na těchto stránkách uvěřejnil dost článků o pravděpodobnostních paradoxech, a čtenář je může snadno vyhledat kliknutím na štítek "pravděpodobnost" uvedený dole. Některé z těchto paradoxů lze korektně rozřešit, mnohé ale končily dosti neuspokojivě, bez finální odpovědi. Byly to například petrohradská loterie, paradox Šípkové Růženky, paradox roztržitého řidiče nebo paradox soudného dne. Tyto paradoxy nemají žádné konsensuální řešení. Jsou samozřejmě lidé, kteří se domnívají, že jim rozumějí, ale obvykle existuje několik navzájem se vylučujících "řešení" se svými zastánci a odpůrci, a žádná zřejmá objektivní cesta, jak je rozsoudit. V takových případech bývá moudré podívat se, kde konkrétně leží jádro sporu, a zda spor náhodou nevyvěrá z nejasně definovaného problému. Jak jsem již ve výše odkazovaných článcích naznačil, minimálně v jednom případě se odpovědi antagonistů liší proto, že to jsou z praktického hlediska odpovědi na různé otázky; tento fakt je zatemněn nepříliš jasným užitím slova pravděpodobnost.


Je proto na čase řešit otázku, co je vlastně pravděpodobnost. Ne, po přečtení tohoto článku nebude jasné, jaké je pravděpodobnost konce světa do sta let nebo co si má myslet řidič s amnézií na neoznačeném dálničním sjezdu. Pouze vyplňuji dluh, který jsem vytvořil mluvě o pravděpodobnosti bez bližšího vysvětlení.


Možná se domníváte, že je přece jasné, co je to pravděpodobnost. Nuže, příliš jasné to asi není, když existují dvě konkurenční interpretace, z nichž každá má své zastánce. Jde o interpretaci bayesovksou a interpretaci frekvenční [1].


Frekventismus je pohled, který říká, že pravděpodobnost jevu je definována jeho relativní četností (frekvencí). Při hodu kostkou má to, že padne trojka, pravděpodobnost 1/6, protože házíme-li kostkou mnohokrát po sobě, zhruba jedna šestina z hodů skončí tak, že padne trojka. Pravděpodobnosti různých událostí jsou tak objektivními vlastnostmi k nim vedoucích procesů: například, šestinová pravděpodobnost hození trojky je vlastností házení necinknutou kostkou. Frekvence, a tudíž i frekventistické pravděpodobnosti je možno měřit.


Bayesovská nebo též subjektivistická pravděpodobnost nese jméno presbyteriánského kněze Thomase Bayese, který se krom teologie zabýval i matematikou a logikou, a je autorem Bayesova vzorce zmíněného v minulém příspěvku. Důležitá role, kterou tento vzorec v rámci bayesovské pravděpodobnosti hraje, je nepochybně důvodem k pojmenování interpretace jako takové; jaký byl skutečný Bayesův osobní postoj k interpretaci pravděpodobnosti není dnes úplně jasné [2]. Bayesovci zastávají názor, že pravděpodobnost je čistě subjektivní kvantita, vyjadřující sílu víry v pravdivost výroku. Pravděpodobnosti 0 a 1 vyjadřují naprostou a nezpochybnitelnou jistotu, že udaný výrok je (ne)pravdivý, cokoli mezi pak měří míru nejistoty, ve které se kloníme k přijetí či naopak odmítnutí výroku.


Subjektivisté se obvykle s frekventisty shodnou na šestinové pravděpodobnosti toho, že na kostce padne trojka. Ale ne vždy.


Jaké jsou výhody a nevýhody obou přístupů, a v čem vlastně spočívá kontroverze? Podívejme se blíže na základní argumenty.


Pro frekventismus:
Frekventistická pravděpodobnost je jasně definovaná věc. Dá se měřit. Praktická ověřitelně fungující užití teorie pravděpodobnosti se opírají o statistickou četnost různých jevů, ať už se jedná o kvantovou fyziku, testování účinnosti léků nebo hazardní hry. Oproti tomu subjektivistická pravděpodobnost je ... subjektivní. Lidé věří různým věcem a často se neshodnou. Bayesovská síla víry, či míra důvěry, chceme-li se vyhnout náboženským asociacím, je naprosto libovolná. Pokud se kdy různí lidé na nějaké pravděpodobnosti většinově shodnou, je to vždy pravděpodobnost nějakého opakovaného jevu, kdy lze měřit jednotlivé frekvence. Zaměňovat míru důvěry a pravděpodobnost je totéž, jako zaměňovat pravdu a názor.


Nezávislým detailem je pak to, že lidé, kteří o pravděpodobnosti uvažují přímo ve smyslu relativních frekvencí, přitom činí mnohem méně chyb typu konjunkčního či prokurátorského bludu. Tato skutečnost je podložena psychologickými experimenty.


Pro subjektivismus:
Především, bayesovská pravděpodobnost není libovolná. Má subjektivní složku, ale pro zacházení s ní platí určitá pevná pravidla (která budu blíže diskutovat v některém z dalších příspěvků). Teorie pravděpodobnosti je abstraktní matematická teorie a pravděpodobnosti jsou abstraktní objekty podléhající určitým pravidlům manipulace. Není potřeba, aby byly přiřazeny k něčemu objektivně měřitelnému.


Co hůře, frekventistické užití slova "pravděpodobnost" nerespektuje jeho užití v běžném jazyce. Bežně mluvíme o pravděpodobnosti událostí, jejichž okolnosti není možno nekonečněkrát opakovat a změřit tak pravděpodobnosti jednotlivých možných výsledků. Mluvíme například o tom, jaká je pravděpodobnost, že Viktoria Plzeň vyhraje ligu, ačkoli česká první liga v letošním složení, s nynějšími hráči a za stávajících podmínek bude těžko zopakována. Podobné pravděpodobnosti mají i praktické využití, nejvýraznější příklad je kursové sázení.


Hlavní námitka je ale ta, že i ikony frekvenční pravděpodobnosti, jako je házení kostkou, se jeví mít pravděpodobnostní charakter jen díky naší neznalosti. Kostka po hodu přistane na jedné konkrétní straně, kulička rulety se zastaví na jednom určitém čísle. Kdybychom byli schopni zrakem přesně zachytit rychlost kuličky a rychle a přesně aplikovat zákony mechaniky, byli bychom s to i předpovědět, kde přesně se kulička zastaví, a proces by se přestal jevit náhodným. V podobných situacích pracujeme s pravděpodobnostmi, protože neznáme přesné detaily nebo nejsme schopni včas spočítat výsledky.


Frekvenční pravděpodobnost je navíc, přísně vzato, také subjektivní, ačkoli se to tak třeba nejeví na první pohled. K jejímu určení je nutno vymezit množinu jevů, v jejímž rámci počítáme frekvence. U onoho kanonického hodu kostkou musíme implicitně předpokládat, že kostka není cinknutá, nebo že kostkou nehází stroj přesně nastavený tak, že vždy padne šestka. Aby se vyloučily předchozí případy musí být "hod kostkou" vymezen dostatečně úzce, ale zároveň ne příliš úzce: musíme ponechat dostatečnou volnost počátečním podmínkám hodu (jeho síle, tvaru podložky atd.), abychom nevyloučili variabilitu výsledků. U kostky je ono vymezení statistické množiny intuitivně jasné a těžko u toho vzniknou spory. Když se ale obrátím na zmíněnou pravděpodobnost plzeňského titulu, jakou četnost má pravověrný frekventista vzít v úvahu? Množství titulů, které Viktoria Plzeň v historii získala, podělené buď celkovým počtem odehraných prvoligových sezon, nebo počtem sezon, kdy Plzeň v lize startovala, nebo kdy startovala v lize pod současným jménem, nebo počtem sezon v samostatné české lize (ve všech případech vyjde nula)? Množství titulů vlastněných současnými plzeňskými hráči, podělené počtem hráčů a jejich odehraných sezon? Četnost sezon, kdy podzimní půlmistr obhájil svou pozici?


A nakonec: frekventisté užívají slovo "pravděpodobnost" jako synonymum pro "četnost". Proč ale mít dvě slova pro jednu a tutéž věc? Můžeme vypracovávat matematické teorie pro četnosti, aniž bychom potřebovali je nazývat pravděpodobnostmi, a "pravděpodobnosti" nechat její subjektivní smysl, jaký nepochybně v normálním užití toho slova je přítomen.


Ačkoli se z uvedených argumentů kloním spíše na stranu přístupu bayesovského, beru na vědomí, že i argumenty frekventistů mají svou váhu. Kdykoli máme určit přesnou hodnotu pravděpodobnosti, nemajíce přitom statistický vzorek pro zjištění frekvence, dostáváme se do potíží; frekventismus je mimo jiné imunní vůči nepříjemným paradoxům točícím se kolem antropického principu a jeho variant, například paradoxu soudného dne. Je sice možné modelovat proces poznávání pomocí bayesovských sítí, je ale otázka, nakolik přesně takový přístup popisuje myšlení skutečných lidí. Na druhou stranu, frekventismus bývá často spojován s různými ne příliš košer postupy ve statistice; tyto věci ale neplynou přímo z frekvenční interpretace pravděpodobnosti, jakkoli jsou s ní v praxi korelovány. Ale o tom zase příště.


Poznámky:
1. Ve skutečnosti existuje interpretací více, ale detailnější rozlišení se opírá o rozdíly relativně malé oproti základnímu rozporu mezi Bayesovskou a frekvenční pravděpodobností.
2. Samotný Bayesův vzorec lze samozřejmě užít i v rámci frekvenčně pojaté pravděpodobnosti, či v jakékoli jiné interpretaci.

pondělí 15. listopadu 2010

O podmíněných pravděpodobnostech


Známá logická chyba, pro kterou lidé mají vrozené dispozice, je oblíbené "obracení implikací". Víme-li, že "pokud A, pak B", máme sto chutí ze znalosti B usuzovat na platnost A. Že (doufám) většina lidí nakonec odolá a podobného úsudku se zdrží, za to vděčíme mimo jiné i škole, ve které se rozdíl mezi "pokud A, pak B" a "pokud B, pak A" v rámci jinak dle mého soudu nedostatečné výuky logiky probírá.


Zatímco tak gramotní lidé obvykle chápou, že implikaci A→B nelze beztrestně obrátit na B→A, přidáme-li do problému nejistotu ― a uvažování v pravděpodobnostech ― pravděpodobně tím nachytáme většinu populace na švestkách. Bohužel, mnohdy i mezi těmi, jejichž profese by v ideálním případě měla jisté porozumění pravděpodobnosti a statistice vyžadovat.


Klasická ilustrace problému je tato. Existuje choroba Ch (obvykle je tím Ch nějaká forma zhoubného bujení, případně AIDS, ale na konkrétním výběru choroby nesejde), kterou lze diagnostikovat určitým testem ještě před nástupem příznaků. Jak už to ale bývá, není tento test ideální: má přesnost pouze 99%. To znamená, že jedno procento z těch, kteří chorobu mají, projde testem s negativním výsledkem, a jedno procento těch, kdo chorobu nemají, projde testem s pozitivním výsledkem [1]. Představte si tedy, že absolvujete test s pozitivním výsledkem. Jaká je pravděpodobnost, že skutečně máte chorobu Ch?


Většina lidí v takové situaci usoudí, že pravděpodobnost je 99%. Tato odpověď se jednoduše nabízí. Je to nakonec jediné číslo, které máme k disposici. Jenže 99% je pravděpodobnost, že člověk, který trpí Ch, bude pozitivně diagnostikován. Otázka ale byla: jaká je pravděpodobnost, že člověk, který je pozitivně diagnostikován, skutečně má nemoc Ch? Rozdíl ve formulaci se může zdát nevelkým, ale rozdíl v číslech bývá dramatický.


Co je tedy správná odpověď? Předpokládejme, že chorobou Ch trpí jeden člověk z tisíce. Nezávisle na tom, jak velká část lidí se dostaví na testy, lze potom předpokládat, že z tisíce testovaných je jeden nemocný a 999 zdravých. Jeden nemocný je téměř jistě odhalen testem (pravděpodobnost chyby je jen 1%), na druhou stranu ale stejné procento zdravých obdrží chybnou pozitivní diagnózu. Jedno procento z 999 lidí je deset osob. Mezi pozitivně diagnostikovanými je tak poměr skutečně nemocných ku zdravým 1:10, a tak hledaná pravděpodobnost je pouze kolem 9%, nikoli 99%.


Položíte-li otázku lékařům, tak i když je seznámíte s četností výskytu Ch v populaci, šance dostat správnou odpověď je dost malá [2]. O závažnosti podobné chyby lze přitom těžko pochybovat. Stres, jemuž je pacient vystaven, dozví-li se, že má závažnou chorobu s jistotou 99%, je zcela zbytečný, je-li ve skutečnosti téměř jistě (90%) zdráv.


Chceme-li záležitost formalizovat, vyplatí se užít matematickou notaci. Označme T+ situaci, kdy test dá pozitivní výsledek, a analogicky T- situaci, kdy dá test negativní výsledek. Podobně, Ch+ a Ch- označuje stav, kdy pacient má, respektive nemá, diskutovanou chorobu. Podmíněné pravděpodobnosti se označují s užitím svislé čáry: P(A|B) označuje pravděpodobnost A, víme-li B; tedy P(T+|Ch+) je pravděpodobnost, že člověk, který má chorobu, bude pozitivně diagnostikován. S takto zavedeným označením lze výše uvedené pravděpodobnosti zapsat jako


P(T+|Ch+) = P(T-|Ch-) = 0,99
P(T-|Ch+) = P(T+|Ch-) = 0,01


Co chceme znát, a neznáme, je P(Ch+|T+). K tomu lze užít Bayesův vzorec


P(B|A) = P(A|B)P(B) / P(A)


V našem případě na pravé straně figuruje známá P(T+|Ch+) = 0,99, a dále dvě další pravděpodobnosti. P(Ch+) je pravděpodobnost, že člověk má chorobu bez ohledu na výsledků testu. Je přirozené tuto pravděpodobnost identifikovat s četností výskytu choroby v populaci ― neznáme-li výsledky testu, či nebyl-li test ještě proveden, je to rozumný předpoklad [3] ― tedy 0,001. Do jmenovatele pak potřebujeme dodat P(T+), což je celková pravděpodobnost, že test dopadne pozitivně, bez ohledu na skutečný zdravotní stav pacienta. Jak velká je tato pravděpodobnost? Můžeme ji rozdělit na dvě části: Pravděpodobnost, že pacient je nemocný, a test dopadne pozitivně, je rovna P(Ch+)P(T+|Ch+), což je v daném případě 0,000 99. Druhou možnost zastupuje pravděpodobnost, že pacient je zdravý a získá pozitivní test, P(Ch-)P(T+|Ch-); zjevně P(Ch-) = 1 - P(Ch+) = 0,999, takže hledané číslo je 0,009 99. Obě možnosti se vylučují, jejich pravděpodobnosti tak lze sečíst, a získat tak jmenovatel 0,010 98. Když to dáme dohromady, vyjde 0,000 99 / 0,010 98 = 0.090 2, tedy přibližně 9%.


Bayesův vzorec působí na první pohled neprůhledně, ale v zásadě se při jeho použití neděje nic jiného, než intuitivně jasný výpočet, který jsem verbálně popsal o několik odstavců výše. Číslo v čitateli udává množství testovaných, kteří mají nemoc a zároveň pozitivní test (v poměru k celkovému počtu testovaných), číslo ve jmenovateli je celkový počet lidí s pozitivním výsledkem (zase v poměru k počtu testovaných).


Pro lepší názornost uvedu ještě jeden "kanonický" příklad, tentokráte ze soudní síně. V tomto případě policie vyšetřuje strašný zločin, a jediné vodítko je otisk prstu nalezený na místě činu. Je jisté, že otisk mohl zanechat pouze pachatel. V databázi recidivistů se podobný otisk nenachází. Policie ale požádá o spolupráci veřejnost, a ozve se jí jistá firma, která pro kontrolu identity svých zaměstnanců při vstupu do střežených prostor užívá otisků prstů. Firemní databáze je předána policii [4] a ta provede porovnání, přičemž najde jeden shodný otisk. Jeho majitel je zatčen a obžalován.


U soudu je shoda otisku jediným důkazem viny obžalovaného. Státní zástupce pak předvolá policejního experta, který vypoví, že otisk prstu nalezený na místě činu nebyl zcela zachovalý, nicméně byl natolik kompletní, že šance, že otisk náhodně vybraného člověka se bude jevit shodným, je jedna ku sto tisícům. Obhájce sice zmíní dosavadní bezúhonnost klienta, absenci motivu a možnost náhodné shody otisků. Přesto je obžalovaný odsouzen. V odůvodnění rozsudku soudce uvede, že pravděpodobnost 1:100 000 je tak malá, že je o vině obžalovaného rozhodnuto nade vší rozumnou pochybnost.


Ponechavše stranou právní stránku věci, bylo by takové rozhodnutí v pořádku? Odpověď zní: nebylo. Obhajoba, kdyby postupovala správně, by upozornila na to, že i pokud je číslo 0,000 01 ve výpovědi policejního experta v pořádku, nelze ho interpretovat jako pravděpodobnost neviny obžalovaného. Jedna ku sto tisícům je pravděpodobnost náhodné shody u neviného, tj. P(shoda|nevinen), nikoli hledané P(nevinen|shoda). Obžalovaný je sice občanem státu, ve kterém došlo ke zločinu, jinak ale o jeho vině nic nenasvědčuje. Má-li stát deset milionů obyvatel, uvedená pravděpodobnost implikuje, že je mezi nimi sto takových, jejichž otisky se shodují s otiskem pachatele. Za předpokladu, že vrah není cizinec, je tedy pravděpodobnost viny obžalovaného 1%. Je to sice výrazně větší pravděpodobnost, než původní 1:10 000 000, jakou bylo rozumné předpokládat před provedením testu [5], ale pořád je obžalovaný téměř jistě nevinen [6].


Hlavní poučení je, že P(A|B) a P(B|A) jsou jiné pravděpodobnosti, a mohou se dramaticky lišit. Pro přepočtení jedné na druhou potřebujeme znát navíc i P(A) a P(B). Máme-li k dispozici P(A|B), ale ne již P(B), hodnotu P(B|A) spočítat nelze. Nejlepší, co za takového stavu je možno udělat, je pokusit se P(B) rozumně odhadnout. V žádném případě ale nesmíme podlehnout pokušení a přiřadit P(B|A) = P(A|B). A znovu, tak jako v jiných případech, kde jde o pravděpodobnosti, platí univerzální rada: Je snažší dojít ke správné odpovědi, pokud místo o pravděpodobnostech uvažujeme o četnostech výskytu. Je snadné zaměnit pravděpodobnost viny při předložených důkazech a pravděpodobnost nalezení předložených důkazů za předpokladu viny. Je o dost těžší udělat chybu podobného rázu při odpovídání na otázku: kolik dalších lidí má stejné otisky?


Poznámky:
1. Ve skutečnosti nebývá důvod, aby procento chybných pozitiv bylo rovno procentu chybných negativ, stejné hodnoty jsem zvolil pouze pro jednoduchost ilustrace.
2. Nepodařilo se mi v rozumném čase najít původní zdroje. Tento článek mluví o 15% úspěšnosti lékařů při řešení podobného problému (s uvedením původní literatury).
3. Jsou-li k dispozici další informace o daném člověku, může se racionálně vybraná pravděpodobnost lišit. Například, známe-li věk onoho člověka, je lepší položit za P(Ch+) frekvenci výzkytu choroby v jeho věkové skupině.
4. Nejsem si jist, zda by v rámci našeho právního řádu takový postup byl legální. Pokud ne, čtenář má plnou volnost vymyslet si alternativní průpovídku.
5. Zanedbávám, že někteří občané (například nemluvňata) jako pachatelé nepřicházejí v úvahu.
6. Upozorňuji na to, že popsaný scénář nelze aplikovat jako univerzální argument proti otiskům prstů či jiné identifikační proceduře. V reálných případech jsou obvykle k dipozici další důkazy, a četnost náhodných shod u běžných identifikačních metod může být nižší, než 1:100 000. Přesto existují reálné případy, kde pravděpodobnostní argumenty týkající se identifikace viníka hrály roli: Adams, Collins. Nesprávné zacházení s pravděpodobnostmi u soudu má v angličtině i své standardní pojmenování: prosecutor's fallacy.

úterý 2. listopadu 2010

Etymologický zpravodaj - I


Prvním a jediným dnešním slovem je idiot (na I bohužel moc zajímavých slov nezačíná). Původní řecké ιδιωτης znamenalo soukromá osoba, laik, odvozeno od ιδιος = vlastní. Později se význam změnil a slovo začalo označovat lidi nevzdělané či nekvalifikované. Dnešní význam se vyvinul v angličtině, odkud se rozšířil do dalších jazyků.


Etymologie idiota je relativně dobře známa (často se jako primární význam uvádí člověk neúčastnící se veřejného života). Méně známý, a neméně zajímavý, je původ slova kretén. Pochází z francouzského crestin n. crestien s původním významem křesťan (v dnešní standardní francouzštině chrétien). Současný význam vznikl ve francouzském Savojsku jako "politicky korektní" označení lidí postižených kretenismem, který byl v alpské oblasti silně rozšířen. V oné době byli křesťany všichni, a slovo crestin se pravděpodobně, předtím, než získalo současný význam, stalo synonymem slova člověk.

pondělí 1. listopadu 2010

Pondělní šifra XXV.

Následující obrázek v sobě skrývá zašifrovanou tajenku, kterou může být slovo, výraz nebo věta dávající v češtině dobrý význam (může to být i vlastní jméno nebo cizí slovo, pokud je v češtině dostatečně často používáno). Způsob šifrování není předem specifikován, ale měl by být odhalitelný na základě relativně jednoduchých pozorování. V některých případech může být k rozluštění potřeba znalost Morseovy abecedy nebo Braillova písma.