Hipotézis teszt — statisztika alapok

Talán nem árulok el titkot, ha azt mondom a hipotézis elméleteket tesztel. Arra szolgál, hogy eldöntsük az elmélet fenntartható-e.

Null és alternatív hipotézis

Tehát van egy elméletünk. Ez sok minden lehet, pl: Z gyógyszer jobb mint a placebo, az ügyintézés Szegeden lassabb, mint az országos átlag, vagy az adatbázis lassabb mint két héttel ezelőtt volt. Hogy számszerűsítjük ezt? Észre kell vennünk, hogy ezeket az állításokat mind megfogalmazhatjuk eldönthető kérdésként is: Z gyógyszer jobb mint a placebo? Szegeden lassabb az ügyintézés, mint az országos átlag? stb. Mint minden eldöntendő kérdésre ezekre is Igen vagy Nem válasz adható. Ez az alapfeltétele a Hipotézis tesztnek. Egy olyan kérdésre keressük a válasz, amire Igen vagy Nem választ lehet adni. Ezt a választ fogjuk teszt statisztikának nevezni. Jelöljük $\psi_{\alpha}$ -val, és ha igaz (1) akkor elutasítjuk a elméletünk. Vagyis:

(1) $\psi_{\alpha} \in \{0,1\}$

Oké, de mi legyen az elméletünk? Nézzük például a következő állítást: Z gyógyszer jobb mint a placebo. Ezt kétféle képen is megfogalmazhatom kérdésként. Egyrészt: Z gyógyszer jobb mint a placebo? De feltehetem úgy is: A placebo jobb mint Z gyógyszer? Ez a két kérdés ugyanaz a probléma, de más oldalról közelítve. Értelemszerűen ha az első kérdésre Igen a válasz akkor a másodikra Nem, és fordítva. Melyiket válasszuk? Naivan azt mondanám mindegy, de sajnos ez nem igaz. Az ártatlanság vélelme a bíróságon kívül a statisztikában is szabály. Tehát amikor kérdést választunk, arra kell törekednünk, hogy a Null hipotézis, a kérdésünkre Nem (0) a válasz, ezt a hozzáállást tükrözze. Dolgozni mindig a bűnösség bizonyításáért kell.

Maradva a fenti példánál, képzeljünk el egy lázcsökkentő gyógyszer-tetszett. A betegek egyik csoportja, az X, megkapja a gyógyszert. A betegek egy másik csoportja, a kontroll csoport Y, csak placebót kap. Ugye azt szeretnénk eldönteni hogy a Z gyógyszer tényleg jobb-e. Ha ez igaz akkor a X csoport hőmérsékletének átlaga kisebb lesz, mint az Y csoporté. Mi lesz ekkor az ártatlanság vélelme alapján a Null és az Alternatív hipotézis? Mivel az Alternatív hipotézisért kell megdolgozni, ez az lesz, hogy a gyógyszer jobb. Értelemszerűen ennek ellentéte lesz a Null hipotézis. Vagyis:

(2) $H_0: \bar{X} \le \bar{Y} \\ H_1: \bar{X} > \bar{Y}$

Ahol:

$H_0$ — a Null hipotézis
$H_1$ — az Alternatív hipotézis
$\bar{X}$ — az X csoport átlaga
$\bar{Y}$ — az Y csoport átlaga

Szignifikancia szint

De hogy tudjuk ezt tesztelni? Nagy mintaszám esetén általában a Central Limit Theorem lesz ebben segítségünkben, kis mintaszámánál pedig a t teszt. Általában, de persze más esetek is lehetnek, mint pl: Kolmogorov-Lilliefors.

Ami közös a t teszt és aszimptotikus esetben, hogy lényegében az adatokat egy úgynevezett Teszt statisztikával ¹ hasonlítjuk össze. Az megfigyelt adatokat egy t számban összegezzük.

Lényegében a null hipotézis fenntartjuk egészen addig amíg az adatok nem esnek a Teszt statisztika farkába. Rendben. De mi az a határ, amitől már beleesnek, mi az amitől nem? Ez a határ a kritikus érték, amit általában s-el jelölünk. Ennek az s-nak az értéke pedig attól függ, hogy mekkora területet vagyunk hajlandóak beáldozni a teszt során.

A Teszt statisztika a mínusz végtelen és a plusz végtelen között vehet fel értéket. Ez azzal jár, hogy elméletileg bármekkora eredmény lehetséges. Így amikor meghúzunk egy határt, akkor mindig döntést hozunk arról is, hogy bizonyos esetekben akkor is el fogjuk utasítani a null hipotézist, amikor nem kellene.² Tehát a kérdés mennyire engedhetjük meg magunknak ezt a fajta hibát. Általában, 1, 5 vagy 10%-os értékeket szoktak megállapítani. Ami nem jelent mást: az esetek 1, 5 vagy 10%-ában akkor is el fogjuk utasítani a Null hipotézist amikor nem kellene. Ezt az értéket szignifikancia szintnek nevezzük és általában $\alpha$ -val jelölik. A terültet pedig amit kijelöl kritikus régiónak hívjuk.

Ezt a logikát megfordítva beszélhetünk konfidenciaintervallum-ról is. Ez lényegében a fenti ábrán a s-től balra elhelyezkedő x értékek. Vagyis azok amik nincsenek kritikus régióban. A fenti ábrán $\mathcal{I}$ -al jelöltem. Innen már egyértelmű, hogy az összes valószínűség ebben a konfidenciaintervallum-ban $1-\alpha$ .

Mivel fentebb a t a kritikus régióban van, el fogjuk utasítani a Null hipotézist.

Hogy néz ki ezek alapján a teszt statisztika? Ez legkönnyebben az Alternatív hipotézis segítségével definiálhatjuk:

(3) $\psi_{\alpha} = 1\left( t \gtreqless s\right)$

Ahol:

$\gtreqless$ — az a matematikai viszony ami az Alternatív hipotézisben szerepel. Például a (2) esetében ez $>$
$1$ — pedig egy indikátor függvény

Ha a fenti indikátor függvény értéke 1, akkor elutasítjuk a Null hipotézist.

Type I. és Type II. hiba

Értelemszerűen két hibát véthetünk. Az első, amit Type I. nek nevezünk, már említettük. Ez az, hogy elutasítjuk a Null hipotézist, amikor nem kellene. A második hiba lehetőség, ez az amit Type II.-nak nevezünk, ennek az ellenkezője. Vagyis amikor nem fogadjuk el az Alternatív hipotézist, pedig el kellene. Igazából csak a Type I. hiba esetén van kontroll lehetőségünk.

Egy és kétoldali teszt

A null hipotézisünktől függően beszélhetünk egy vagy két oldali tesztről. Az egy oldali teszt. amikor a Teszt statisztika egyik oldalán jelöljük ki a kritikus régiót, ahogy ez fentebb is látható. Nem meglepő módon a kétoldali teszt ezzel szemben igy néz ki:

Vegyük észre, hogy ha kétoldali tesztünk van, akkor ahhoz, hogy ugyanakkora kritikus régiót jelöljünk ki mint az egyoldaliban, kintebb kell tolnunk az kritikus értéket. Vagyis két oldali esetben konzervatívabbak vagyunk, és jobban védjük a Null hipotézist. Ezt tükrözi az is, hogy szemben 2. ábrával a 3.-ban már nem utasítjuk el a Null hipotézist.

Az, hogy egy vagy két oldali tesztet végzünk lényegében az Alternatív hipotézis definíciójától függ. Egyszerű szabályként:

ha $\ne$ szerepel benne, akkor két oldali tesztünk van
ha $<$ szerepel benne, akkor egyoldali amikor is a kritikus terület a függvény bal oldali farkán van.
ha $>$ szerepel benne, akkor pedig jobb oldali egyoldalú

Egy vagy két mintás teszt

A másik gyakran hallható kifejezés az, hogy egy vagy két mintást tesztet végzünk. Ennek a jelentése is triviális: ha egy mintavételünk van akkor egy mintás tesztről beszélünk. Ezek azok az esetek amikor a minta adatokat valamilyen külső forrással hasonlítjuk össze. Például a “ügyintézés Szegeden lassabb mint az országos átlag ” állítás esetén csak egy mintavételt végzünk: milyen gyors az ügyintézés Szegeden. Az országos átlag pedig külső forrásból származik, mondjuk a KSH-tól. Ilyenkor ugye nem állnak rendelkezésünkre a részletes adatok, hanem csak azok összegzése, pl: átlaga, varianciája.

A két mintás teszt pedig ennek megfelelően az, amikor két részletestes adatsorunk is van.

Kritikus érték és az eloszlásfüggvény

Ugye nem kell zseninek lenni ahhoz, hogy lássuk, hogy az s-t a legegyszerűbben a
Teszt statisztika eloszlásfüggvényéből számíthatjuk.

Ha már itt vagyunk talán hasznos lehet egy puska a számításhoz az Alternatív hipotéziseknek megfelelően:

Ha kétoldali tesztünk van:

(4) $s = \mu \pm q(\frac{\alpha}{2}) \cdot \sqrt{\frac{\sigma^2}{n}}$

Ha bal oldali:

(5) $s = \mu - q(\alpha) \cdot \sqrt{\frac{ \sigma^2 }{n}}$

Ha jobb oldali:

(6) $s = \mu + q(\alpha) \cdot \sqrt{\frac{ \sigma^2 }{n}}$

Ahol:

$\mu$ — a Null hipotézis átlaga
$q(\alpha)$ — a szignifikancia szintnek megfelelő távolság az átlagtól a Teszt statisztikában. A 2. ábrán szemléltettem.
$\sigma^2$ — a Null hipotézis varianciája
$n$ — a mintanagyság

És mi lesz a t érték? T teszt és aszimptotikus esetben a minta átlaga.

z-érték

Ez egy alternatív értékelési mód. Az alapja, hogy normalizáljuk a megfigyelt átlag távolságát a null hipotézistől, és azt hasonlítjuk össze a $q(\alpha)$ -val.

(7) $z = \sqrt{n}\frac{\bar{X} -\mu}{\sqrt{\sigma^2}}$

Ahol:

$\bar{X}$ — az adatok átlaga
$\mu$ — a Null hipotézis átlaga
$\sigma^2$ — a Null hipotézis varianciája. Ez viszont általában nem ismert. Aszimptotikus esetben Slutsky alapján csak behelyettesítjük ide a minta varianciáját, de kis mintanagyságnál ez nem megvalósítható. Ez a probléma vezetett a T teszthez.

Ennek megfelelően elutasítjuk a null hipotézist ha két oldali tesztnél:

(8) $\psi_{\alpha} = 1\left( | z | > q(\alpha/2) \right)$

Bal oldali tesztnél:

(9) $\psi_{\alpha} = 1\left( z > q(\alpha) \right)$

Jobb oldali tesztnél:

(10) $\psi_{\alpha} = 1\left( z < -q(\alpha) \right)$

p-érték

Ez szintén egy alternatív értékelési mód. Lényegében azt mondja meg, mekkora a valószínűsége, hogy a Null hipotézisit nem utasítjuk el. Ebből a definícióból következik, hogy minden esetben elutasítjuk a Null hipotézist, ha a számított p-érték a szignifikancia szint alatt van. Az 1. ábrán szemléltettem is a jelentését. Egy gyors összefoglaló a számítására:

Ha két oldali tesztünk van:

(11) $p = 2 \cdot \left( 1- \Phi\left( \left|\sqrt{n}\cdot\frac{|\bar{X} - \mu |}{\sqrt{\sigma^2}} \right| \right)\right)$

Ha bal oldali:

(12) $p = \Phi\left( \sqrt{n}\cdot\frac{\bar{X} - \mu }{\sqrt{\sigma^2}} \right)$

Ha jobb oldali:

(13) $p = 1-\Phi\left( \sqrt{n}\cdot\frac{\bar{X} - \mu }{\sqrt{\sigma^2}} \right)$

A fentiekben:

$\Phi$ — az Teszt statisztika eloszlásfüggvénye. Az 1. ábrán szemléltettem is van az értéke.
$\bar{X}$ — az adatok átlaga
$\mu$ — a Null hipotézis átlaga
$\sigma^2$ — a Null hipotézis varianciája

Összegzés

Talán egy kicsit hosszú lett a fenti bejegyzés, de remélem sikerült elmagyarázni érthetően a Hipotézis teszt lényegét. Lényegében semmi sincs benne, amit nem lehetne józan paraszti ésszel megérteni. Tanácsként még annyi, hogy mindig figyeljünk a Null és Alternatív hipotézis definíciójára vs. az ártatlanság vélelmére. Ha ezt elrontjuk akkor könnyen félremagyarázhatjuk az adatokat. A többi rész csak számítási technika.

Lábjegyzet

Aszimptotikus esetben ez a teszt statisztika egy standard Normál lesz, t teszt esetén pedig, egy Student t eloszlás, etc.
Ez az úgynevezett Type I. hiba, lsd. lentebb.