Az Improper prior

Az improper prior egyszerűen az jelenti, hogy a prior eloszlás nem integrálható 1-re. Értelemszerűen ennek a definíciónak csak folytonos eloszlások esetén van értelme. Nehéz ilyen priort találni? Nem igazán. Például Béta eloszlás ahol alfa és béta egyaránt 0.:

(1)  \pi(\theta) \propto \theta^{-1}\cdot(1-\theta)^{-1}

Nézzük meg mi ennek az integráltja, vagyis a:

(2)  \int_0^1\theta^{-1}\cdot(1-\theta)^{-1} \text{ d}\theta

Ami így néz ki:

Ez nem fog működni, mivel \theta^{-1} integrálja ln( \theta ) , aminek a határértéke végtelen. Ez igaz a másik oldalra is. Vagyis mindkét oldal lényegében felrobban. Szóval improper priorunk van.

Számít ez, és ha igen, akkor mit tehetünk ilyenkor? Ugye a posterior eloszlásnak muszáj integrálhatónak lennie 1-hez, különben egyáltalán nem eloszlás, tehát számít. Ha proper, akkor egyszerű dolgunk van ebben a kérdésben, mert biztos, hogy integrálható lesz az eredmény. Viszont ha improper akkor egy kicsit figyelmesebbnek kell lennünk. Lényegében csak posterior fontos nekünk, szóval amit elvárunk, az, hogy az legyen integrálható, pontosabban annak a számlálója:

(3)  \pi(X) = \int \pi(\theta) \cdot L(X_1,\dots X_n|\theta) \text{ d}\theta

Teoretikusan ez nem működik. Viszont gyakorlatilag közelítő eredményt kaphatunk. Maradva a fenti példánál, ha az (1) priort egy Bernoulli eloszlás megfigyelésével párosítjuk, akkor értelmes eredményt kapunk. Ez annak köszönhető, hogy a Bernoulli megfigyelések likelihoodja egy Béta eloszlást eredménye, ahol az alfa a sikerek száma+1, míg a béta a kudarcok száma+1. Tehát a likelihood

(4)  L(X_1,\dots X_n|\theta)   =  Beta(s+1,n-s+1)

Aminek megfelelően a (3) így alakul:

(5)  \pi(X)  \propto    \theta^{-1}\cdot(1-\theta)^{-1}   \cdot  \theta^{s+1-1} \cdot (1-\theta)^{n-s+1-1}

Elvégezve a szorzást:

(6)  \pi(X)   \propto     \theta^{s-1} \cdot (1-\theta)^{n-s-1}

Ami ugye egy másik Béta eloszlást eredményez:

(7)  \pi(X)  \propto   Beta(s,n-s)

Ez integrálható? Igen. Tehát használni tudtuk az improper priort, de ehhez annak a szerencsés egybeesésnek kellet teljesülnie, hogy a likelihood eloszlása pont illeszkedett a priora. Ez nem lesz mindig így.

Hírdetés

Vélemény, hozzászólás?

Adatok megadása vagy bejelentkezés valamelyik ikonnal:

WordPress.com Logo

Hozzászólhat a WordPress.com felhasználói fiók használatával. Kilépés /  Módosítás )

Facebook kép

Hozzászólhat a Facebook felhasználói fiók használatával. Kilépés /  Módosítás )

Kapcsolódás: %s