Bayes-tétel — statisztika alapok

Az egyik legizgalmasabb terület számomra a statisztikában a Bayesian gondolkodás. Korábban írtam egy bejegyzést erről a témáról, de az elmélettel még nem foglalkoztam. Most ezt fogom pótolni.

---

Kicsit távolról indítok, de feltétlenül tisztáznunk kell az elvárásokat a Bayesian statisztikával szemben, hogy értékelni lehessen a jelentőségét.

Amikor Statisztikai analízist végzünk belülről haladunk kifele. Először megépítjük a modellünket, majd teszteljük, hogy az adatok alátámasztják-e azt. Ehhez használjuk az úgynevezett Null és Alternatív hipotéziseket. Rendben, de mit jelent az, hogy az adata alátámasztja a hipotézist?

Korábban láttuk, hogy hagyományosan¹, amikor konfidenciaintervallumot adunk meg, akkor lényegében azt mondjuk: a Null hipotézist néha akkor is elutasítjuk, amikor nem kellene. Ha elég sokszor (ideális esetben végtelen sokszor) megismételnénk a kísérletet,² és a modellünk helyes, akkor pontosan p-érték alkalommal fog ez bekövetkezni. A gond az, hogy általában nem szoktuk elég sokszor megismételni az kísérletet.

A Bayesian szemlélet erre a problémára kínál megoldást. Nem feltételezi a kísérlet végtelen számú megismétlését, hanem azt mondja, hogy az észlelt adatok alapján a modellnek p-érték valószínűsége van. Ez a fajta p-érték felfogás sokkal közelebb áll a mindennapi nyelvhasználatunkhoz, mint a hagyományos statisztikai megfogalmazás.

A p-érték fogalmának megváltoztatáshoz az alapot pedig a Bayes tételt szolgálja.³

Bayes-tétel

A Bayes tételt Thomas Bayes után lett elnevezve, aki először használta paraméterbecslésre az 1763-ban megjelent An Essay towards solving a Problem in the Doctrine of Chances-ban. A tétel elsőre a tipikus, “ez magától értetődő” kategória. A tétel alapja a feltételes valószínűség tétele, így ezzel fogjuk kezdeni.

Feltételes valószínűség tétele

(1)  

Ahol:

• — A és B események együttes előfordulásának valószínűsége
• — A esemény valószínűsége, ha B esemény megtörtént
• — B esemény valószínűsége

Szavakba öntve: annak a valószínűsége, hogy A és B események egyszerre bekövetkeznek, megegyezik a B esemény valószínűségével és az A esemény bekövetkeztének valószínűségével ha B már megtörtént. Talán ez így elég elvontan hangzik, de nézzünk két egyszerű példát, hogy lássunk miről beszélünk:

Az első példa: Legyen két érménk, Az A esemény legyen, hogy az első érme fej, a B hogy a második fej. Mi lesz akkor a ? Az, hogy mindkét érmével fejet dobunk. Tegyük fel, hogy ezek az érmék kicsit csalnak és az első érme 60% valószínűséggel fej, ez lesz a . A második 30% valószínűséggel legyen fej, vagyis . Már csak a hiányzik. Ez annak a valószínűsége, hogy ha a második érménk fej akkor az elsővel is azt dobunk. Befolyásolja a második érme eredménye az elsőt? Nem, az első érme teljesen független a másodiktól. Tehát ebben az esetben a . Ennek megfelelően mi lesz a ?

(2)  

A második példában nézzünk egy olyan esetet amikor A és B nem független egymástól: Legyen két hat oldalú dobókockánk. esemény pedig legyen az, hogy a két kocka eredményének összege maximum 4. Mi lesz most a és ? A két kocka eredményének valószínűsége. Most viszont a érdekesebb, mint az elöző példában. Ez annak a valószínűsége, hogy az első kockával olyan számot dobunk, ami kielégíti a feltételt. Értelemszerűen ez az érték nagy mértékben függ attól, hogy a második kockával mit dobunk. Ha például 1-et, akkor 1,2 vagy 3-is dobhatunk az elsővel, hogy ez a feltétel teljesüljön, tehát a ebben az esetben. Viszont ha 4-et dobtunk a második kockával, akkor a , mivel nem tudunk olyan kis számod dobni, hogy a két kocka összege maximum 4 legyen. A lehetséges kombinációkat egy táblázatban lehet legjobban összefoglalni:

1	1/6	3/6	3/36
2	1/6	2/6	2/36
3	1/6	1/6	1/36
4	1/6	0	0
5	1/6	0	0
6	1/6	0	0

Ahol:

• — a B kocka eredménye
• — Annak a valószínűsége, hogy a B kocka eredménye b
• — Annak a valószínűsége , hogy A eredménye olyan, hogy a két kocka összege maximum négy, ha a B kockával b értéket dobtunk. Értelemszerűen, ha nagyobb b értéke ekkor ez a valószínűség kisebb.
• — Annak valószínűsége, hogy két kocka összege maximum négy, ha a B kockával b értéket dobtunk. Értéke a és a szorzata.

Rendben, de mi a ? A összege lesz, vagyis:

(3)  

Vagyis 1/6 a valószínűsége, hogy két kocka összege maximum négy.

Bayes-tétel

Vegyünk észre valamit: A Feltételes valószínűség tétele megfordítható, vagyis:

(4)  

A fenti két példa pontosan ugyanazt az eredményt adná, ha az A és B jelölést felcserélnénk.

Rendezzük át egy a (4) egy kicsit:

(5)  

Ez pedig a híres Bayes-tétel. Hogy lássuk miért érdekes ez a tétel, cseréljük ki az absztrakt A-t és B-t valamire aminek van valami jelentése is. Mondjuk az A-t H-ra, mint Hipotézis és B-t M-re, mint Megfigyelés:

(6)  

Mielőtt továbblépnénk egy kis terminológiára. A Bayesian statisztikában a következő elnevezéseket szokták alkalmazni a fenti képlet részeire:

Jelölés	Neve
p(H|M)	Posterior
p(H)	Prior
p(M|H)	Likelihood
p(M)	Megfigyelés valószínűsége 4

A következő bejegyzésben megnézzük miért fontos ez a tétel.

Lábjegyzet

1. Az angol szakirodalomban Frequentist megközelítésnek nevezett szemlélet szerint.
2. Vagyis úgynevezett exact tetszett végeznénk.
3. Nem meglepő módon innen a szemlélet neve.
4. Angolul: Probability of the evidence