Randomizált, kontrollált vizsgálat — statisztikai alapok

A mai bejegyzésben egy nagyon elterjedt, és megbízhatónak tartott vizsgálati módszert fogunk megnézni, nevezetesen a „Randomizált, kontrollált vizsgálatot”. Ezt olyan esetekben használjuk, ha arra vagyunk kíváncsiak, hogy egy beavatkozásnak (kezelésnek) mi a várható eredménye.

Gondolkozzunk el egy kicsit a felhasználási területén! Mint említettem, akkor használjuk, ha arra vagyunk kíváncsiak, hogy mi egy beavatkozás várható eredménye. Tegyük fel, hogy egy új gyógyszer alkalmazásának hatását akarjuk tesztelni. Ez elsőre egy elég egyszerű problémának tűnik. Csak kipróbáljuk minden betegeken a gyógyszert és megnézzük mennyi betegnél volt hatásos. Sajnos van itt egy probléma: a kezelés alkalmazásával megváltoztattuk a betegek állapotát. Tegyük fel, hogy 40%-a a betegeknek meggyógyult, 60% pedig nem. Honnan tudjuk, hogy ez a 40% a kezelésnek köszönhető és nem annak, hogy ezek a betegek amúgy is erősebbek voltak, és a gyógyszertől függetlenül is meggyógyultak volna. A rossz hír, hogy ezt nem tudjuk mérni, lévén az a tény, hogy alkalmazzuk mindenkin a gyógyszert, lehetetlené teszi a spontán gyógyulás mérését.

Nem nehéz látni, hogy a probléma abból fakad, hogy minden egyeden kipróbáltuk a kezelést. Innen meg nem túl nagy logikai ugrással eljuthatunk addig, hogy akkor ne próbáljuk ki mindenkin, hanem válaszuk a populációt két részre: „teszt” csoportra, akiken alkalmazzuk a kezelést. És „kontroll” csoportra, akiken nem. Ez lényegében a „kontrollált” vizsgálat alapötlete.

Persze, ha rendelkezésünkre állnak régi adatok a spontán gyógyulásról, akkor mondhatnánk, hogy a kontroll csoportot helyettesíthetjük ezzel az adatokkal. Sajnos embereken végzet kutatás esetén ez általában nem igaz. Sokszor maga a kezelés lehetősége megváltoztatja a viselkedésüket. Csak, hogy egy példát nézünk: a placebo hatás. Vagyis maga az a tudat, hogy egy beteg azt hiszi, hogy kezelés alatt áll, képes javítani az állapotát. Ebbe belegondolva láthatjuk, hogy a historikus adatok alkalmazása problémás, mivel a placebo hatás miatt megváltozhat a spontán gyógyulás esélye. Amikor egy kezelést tesztelünk, akkor nem arra vagyunk kíváncsiak, mi a kezelés+placebo hatás eredménye, hanem csak a kezelés eredményére. Ez pedig, úgy tehetjük meg, ha valahogy mérjük a placebo hatást. Erre a legkézenfekvőbb megoldás a kontroll csoport. Vagyis a kontroll csoport nem egyszerűen egy csoport amit nem kezelünk, hanem általában egy olyan csoport amit nem kezelünk de azt hiszi, hogy igen.

Persze nem csak gyógyszerkísérletekre igaz az, hogy a megfigyelés megváltoztathatja a résztvevők viselkedését. Gondoljunk csak egy antikorrupciós vizsgálatra.¹ Maga a tudat, hogy valaki egy antikorrupciós vizsgálatban vesz részt nagy valószínűséggel csökkenti a korrupció esélyt.

Most, hogy átnéztük az alapproblémáját a vizsgálatnak, nézzük meg egy kicsit részletesebben.

Példa adatok

Tegyük fel tehát, hogy eljutottunk addig, hogy kialakítottuk a teszt és kontroll csoportunk és elvégeztünk a kezelést és megmértük az eredményt.

Hogy számszerűsíthessük később az elméletet, tegyük fel, fejfájás elleni gyógyszert tesztelünk, a fejfájás nagyságát pedig egy 0-100 terjedő skálán mérjük. hogy az alábbi eredményt kaptuk:

Sorszám i	Kapott kezelést? W	Végső állapot Y
1	1	80
2	1	75
3	1	85
4	0	60
5	1	76
6	0	81
7	0	100
8	0	83

Mi is ez? Az első oszlop, az i változó, a megfigyelések száma. A következő oszlop, a W, hogy megfigyelés a teszt (1) vagy a kontroll csoportból származik-e? Vagyis hogy az egyed kapott-e kezelést. Az utolsó oszlop a megfigyelt tulajdonság a kísérlet végén. Vagyis, hogy menyire fájt az illető feje a kísérlet végén.

A probléma, hogy igazából a Y oszlop helyén két oszlopnak kellene lenni, annak az értéknek, hogy alakul a fejfájás kezeléssel és kezelés nélkül. Tehát ideális esetben ezt szeretnénk látni:

Sorszám i	Kapott kezelést? W	Végső állapot Kezeléssel Y(1)	Végső állapot Kezelés nélkül Y(0)	Kezelés hatása Y(1)-Y(0)
1	1	80	60	20
2	1	75	74	1
3	1	85	80	5
4	0	70	60	10
5	1	76	72	4
6	0	81	81	0
7	0	90	100	-10
8	0	86	83	3

Ha meglenne minden adatunk akkor kezelés hatásának átlaga megadná nekünk az elvárt értékét a kezelésnek. Tehát az „Igaz átlagos kezelési hatás ” (TTE, True average treatment effect):

(1) $TTE = \frac{1}{n}\sum_{i=1}^n Y(1)-Y(0) = 4.25$

De mivel az lehetetlen, hogy valaki egyszerre kapjon gyógyszert fejfájás ellen meg nem, a valóságban ezt tudjuk:

Sorszám i	Kapott kezelést? W	Végső állapot Kezeléssel Y(1)	Végső állapot Kezelés nélkül Y(0)	Kezelés hatása Y(1)-Y(0)
1	1	80
2	1	75
3	1	85
4	0		60
5	1	76
6	0		81
7	0		100
8	0		83

Kiválasztás problémája

Mi a legkézenfekvőbb módszer ezek után a kezelés hatásának mérésére? Számomra: egyszerűen összehasonlítani a két csoport átlagát. Ezt nevezzük „Átlagos Kezelési Hatásnak” (ATE, Avarage treatment effect )

(1) $ATE = E[Y_i| W_i = 1] - E[Y_i| W_i = 0]$

Ahol:

ATE — Átlagos Kezelési Hatás
i — a kísérletben részvevő egyed sorszáma
$Y_i$ – a i-ik egyed állapot a kezelés után, vagyis valami mérőszám ami kifejezi menyire volt sikeres vagy nem a kezelés
kapót-e kezelést az i-ik résztvevő
- 1 — igen, vagyis az illető a teszt csoport tagja
- 0 — nem, vagyis az illető a kontroll csoport tagja

A fenti példánál maradva mi lesz ez számszerűen?

(2) $ATE = \frac{80+75+85+76}{4} - \frac{60+81+100+83}{4} = -2$

??? Eszerint a kezelés ront a helyzeten, nem pedig javít. Ha összehasonlítjuk ezt az (1) eredményével, akkor nem örülhetünk igazán. A (2) lényegében teljes tévedésben van a kezelés hatásáról. Mi történik itt?

A gond az, hogy a két csoportban lévő egyedek teljesen eltérő tulajdonsággal rendelkeznek a kezelés tényétől függetlenül. ez a különbség származhat tőlünk, de véletlenszerűen is előfordulhat.

Nézzünk egy egyszerű példát arra az esetre amikor mi okozzuk a két csoport különbségét. Mondjuk egy erős fájdalomcsillapító hatását vizsgáljuk. Elég kegyetlennek kell lenni ekkor ahhoz, hogy ilyenkor a kontroll csoportban olyanok legyenek, akiknek ténylegesen komoly fájdalmaik vannak, de mi csak hazudjuk nekik, hogy kapnak kezelést. Tehát az emberség arra motivál minket, hogy a teszt csoportban több legyen azok száma akik tényleges kezelésre szorulnak. Viszont innentől fogva a két csoport tulajdonságai nem egyformák. Ez a kiválasztás problémája.

Vagyis egy olyan szituáció amikor a kontroll és a teszt csoport kezelés nélküli tulajdonságai eltérnek egymástól. Ideális esetben ilyenkor két dolgot szeretnénk még mérni: a „Kezelés hatása a teszt csoportban” (ATT, Average treatment effect on the treated ) és a „Kiválasztási hibát” (SB, Selection bias). Az első az aminek a neve is mondja: megmutatja mekkora a kezelés hatása a teszt csoportban:

(3) $ATT = E[ Y_i(1)| W_i = 1 ] - E[Y_i(0)| W_i = 1]$

Ami számszerűsítve:

(4) $ATT = \frac{80+75+85+76}{4}-\frac{60+74+80+72}{4} = 7,5$

A második azt mutatja meg nekünk, mekkora a különbség a két csoport között a kezeléstől függetlenül:

(5) $SB = E[Y_i(0)| W_i = 1] - E[Y_i(0)| W_i =0 ]$

Ami:

(6) $SB = \frac{60+74+80+72}{4} - \frac{60+81+100+83}{4} = -9.5$

De van itt egy probléma, a mindkét fenti egyenletből csak az adatok felét ismerjük a valoságban. A (2)-ban nem tudjuk a $E[Y_i(0)| W_i = 1]$ , a (3)-ban pedig a $E[Y_i(0)| W_i = 1]$ -t.

Mit lehet akkor tenni? Ezt fogjuk megnézni a következő két bejegyzésben a Fisher’s exact tesz t és a Neyman teszt tárgyalásakor.

Lábjegyzet

Egy érdekes példa ilyen irányba: A. Banerjee, R. Hanna , J. Kyle , B. A. Olken and S. Sumarto : Tangible Information and CitizenEmpowerment: Identification Cardsand Food Subsidy Programs in Indonesia

Irodalom

http://www.stat.columbia.edu/~cook/qr33.pdf