Automatizált embertelenség

Közeleg a Karácsony és ilyenkor érdemes egy kicsit megállni és visszatekinteni az elmúlt évre. Én is ezt fogom most tenni, de persze a blog sajátos szemüvegén keresztül. A Gépi tanulás 2020 évéről lehetne sok mindent írni, de én a szeretett ünnepéhez közeledve nem szeretnék a technikai dolgokról. Inkább nézzük meg milyen etikai kérdésekkel szembesültünk (nem csak) ebben az évben a Gépi tanulás kapcsán.


Az előző évekhez hasonlóan 2020-ban is folytatódott a Mesterséges Intelligencia alkalmazásának elterjedése. Egyre több és több területen találkozhatunk ezekkel a megoldásokkal. Egyre többször alkalmaznak MI-t olyan helyzetekben is, amikor emberek szigorúan vett fizikai és szellemi jólétéről döntenek. Néhány példa: egészségügyi ellátás, albérletkiadás vagy ingatlanvásárlás, oktatási vagy munkahelyi teljesítmény mérés. Személy szerint elég kritikus vagyok ezekkel az alkalmazásokkal kapcsolatban. Nézzünk is meg néhány negatív példát ez elmúlt évből. A példák az Egyesült Államokból származnak, amiatt, hogy ott elterjedtebb ezeknek a rendszereknek a használata. De senkinek ne legyen kétsége, ha a döntéshozók nem lépnek valamit, hasonló problémák nálunk is meg fognak jelenni.

Egészségügy

Augusztusban jelent meg egy kutatás a The New England Journal of Medicine-ben[1] amiben arról van szó, hogy milyen faji alapú abnormalitásokat találtak az egészségügyben alkalmazott Mesterséges Intelligenciáknál.

Kezdjük először azzal, lehet-e indokolni a rassz használatát orvosi vizsgálatokban? Elsőre ránézésre annak tűnik, mivel lehetséges,[2] hogy az eltérő csoportok eltérő génállománnyal rendelkeznek. És ez hajlamossá vagy éppen ellenállóvá teheti őket bizonyos betegségekkel szemben. A kérdés az, hogy az konkrét MI megoldások valóban logikailag ezen a vonalon mozognak-e, vagy esetleg más áll a háttérben?

Nézzünk egy példát a fenti cikkből: Úgy tűnik a Bostoni sürgősségin a fekete betegek kisebb számban kerülnek kardiológiai beutalásra, mint a fehérek vagy latinok. Maga ez a tény nem add választ nekünk a fenti kérdésre. Ez most annak a jele, hogy a afroamerikaiak kevésbé hajlamosak a szívproblémákra, vagy valamiféle rejtett rasszizmus működik a felvételi rendszerben? Nem tudni, az viszont biztos, hogy a American Heart Association három extra pontot add mindenkinek, aki nem fekete. Vagyis a feketék kisebb esélyek kapnak beutalót, ha minden más változó egyezik.

Most képzeljük el egy számunkra sokkal ismerősebb szituációt: a fenti példához hasonló kardiológia betegosztályozó rendszert kell készítenünk, de Magyarországi adatokkal. Az adatok feldolgozása után az jön ki, hogy a jobb módú lakosság nagyobb valószínűséggel szorul ilyen beavatkozásra. Ha most valaki megkérdezné, hogy mi a magyarázata ennek, mit mondanánk? Más az étrendjük, kevesebbet mozognak vagy hogy többet tudnak hálapénzre költeni? Mit fog a modellünk megtanulni, ha mondjuk az utóbbi a helyzet? Azt, hogy a vagyonosabb embereket kell támogatnunk a szegényekkel szemben. Vicces, ja nem. Lehet, hogy emberek halnak meg a rossz modell következtében. Itt lényegében semmi mást nem csináltunk, mint automatizáltuk a szegények hátrányos megkülönböztetését.

A megoldás kézenfekvőnek tűnik. Biztosnak kell lennünk benne, hogy a modellnek olyan adatokat tanítunk, amiknek nincs hibája. De hogyan? Ki fogja az adatokat szétválogatni? Egyáltalán meg lehet e ezt tenni? Hogy lehet mérni pl. a hálapénz szerepét a tesztadatokban? És mi történik, ha nem sikerül az adatok jó előkészítése? Ki fogja az erkölcsi és jogi felelősséget vállalni egy elmaradt kardiológiai beavatkozásért? Az adminisztrációs, aki felveszi az beteg adatait? Az orvos aki nem bírálta felül a modell döntését? Az adattudós, aki a modellt készítette? A menedzser, aki eladta a „terméket”, vagy a kórházigazgató, aki megvette? Jelenleg a fenti kérdésekre nem látok megnyugtató válaszokat. Leginkább semmilyen választ sem látok.

Szegénységspirál

Néhány napja jelent meg egy cikk a MIT Technical Review: The coming war on the hidden algorithms that trap people in poverty. A cikk azzal a problémával foglakozik, hogy egymástól elméletileg független algoritmusok hogyan képesek szegénységspirálba küldeni valakit. A lényeg tömören az, hogy különböző jogosultságelbíráló rendszerek, mit a biztosítók vagy a hitelbírálóké[3], egymást figyelik. Így ha az egyik lepontoz valakit, akkor a másik ezt fogja tenni, ez pedig visszahat az előző modellre. És kialakul egy negatív öngerjesztő folyamat, ami egyre lejjebb pontoz egyéneket.

Ezek a rendszerek értelemszerűen a szegényebbeket sújtják hatványozottabban. Egyrészt: eleve náluk van a legnagyobb esély arra, hogy megbízhatatlannak minősíti őket. Ami pedig elindíthatja az egész lavinát. Másrészt ők találkoznak a legtöbb ilyen rendszerrel is. Ők vesznek fel gyakrabban rövidlejáratú hitelt, de ők jelennek meg legtöbbször a különböző hivatalok nyilvántartásaiban is.

A fenti cikkben megismerhetünk egy valós példa is: egy alacsony jövedelmű családban az egyik kereső elvesztette a vírus miatt a munkáját. Ez eleve baj, de csak rosszabb lett, amikor a munkaügyisek által alkalmazott MI nem találta jogosultnak munkanélküli segélyre.[4][5] Mivel eleve kicentizett volt a család jövedelme, elmaradtak az albérleti díjjal, és a főbérlő felmondta a bérleményt. Ezt a kilakoltatási moratórium miatt nem lehet végrehajtani, tehát egyelőre van fedél a fejük fölött, ugyanakkor a határozat nyilvántartásba került. Ezt érzékeli a albérletkiadással foglalkozó ügynökségek modellje és a család nehezebben fog új lakást kapni legálisan. A hitelminősítők modellje is értesül az albérlet fizetési elmaradásáról, így ott is csökken a pontszámuk. Ennek „köszönhetően” ha például autót kellene venniük, mert teszem azt házhoz-szállítási munka lenne az, amit a munkanélküli családtag talál, akkor nagyobb valószínűséggel utasítják el az autóhitelüket.[6] Aminek az elutasítása meg tovább csökkenti a hitelminősítésüket stb…

A fenti döntéseket önmagukban vizsgálva, a munkaügyi központ kivételével, mind jogosnak tűnik. De ha kicsit hátrább lépünk és az egész képet nézzük, akkor itt valami nem stimmel. Egy olyan törékeny és többszörösen összekapcsolt rendszert látunk magunk előtt, ahol egyetlen elem hibája komoly problémákat okozhat.

Két gond van itt számomra. Egyrészt a modellek nem veszik figyelembe, hogy önmaguk menyiben alakítják a külvilágot. Úgy tekintenek magukra, mint kívülállókra, akik csak megfigyelik az eseményeket és az alapján hoznak döntést. Viszont ez egyszerűen nem igaz. Hogy ezt a problémát megoldjuk az kellene, hogy pontosan felmérjük, a modell egyes döntései hogy befolyásolják a környezetét. Elméletileg ezt még meg is lehetne tenni. A gond az, hogy ez a tudás pillanatok alatt elévülne. Elég ha az egyik szereplő frissíti a modelljét.

A második problémám inkább erkölcsi. A befektetők pénzének védelme megéri-e azt az áldozatot, hogy emberek sorsa összességében egy ilyen törékeny rendszertől függjön. A fenti példában minden egyes modell azért került bevezetésre, hogy a befektetések nagyobb biztonsággal térüljenek meg. Gazdaságilag ennek a haszonélvezői a „jó hitelesek”. Számukra ez a rendszer kisebb költésegeket jelent. De ezek a jó hitelesek pont azok, akik amúgy is biztonsággal tudják fizetni a törlesztőrészleteiket, azok akiknek megtakarításai vannak. Szóval a nehéz helyzetűek büntetésével a gazdagabbakat jutalmazzuk. Biztos, hogy rendszer szinten ez helyes és fenntartható?

Végszó

Fontos tudatosítani, hogy minden modell annyit ér, amennyit az adatok, amivel tanítjuk. Szembe kell nézni azzal a ténnyel, hogy emberekről szóló döntéshez csakis emberektől szerezhetünk tanulóadatokat. Ezek a modellek pedig soha nem lesznek jobbak, mint az emberek. A legjobb esetben is maximum csak gyorsabban fogják meghozni ugyanazokat a döntéseket. De ennek a gyorsaságnak nagy ára van: elveszik az egyéni felelősségvállalás.

Van még egy pont amire emlékezni kellene. Az emberség. Krisztus azt mondta: „Az vesse rá az első követ, aki bűntelen közületek!” Van-e jogunk valakit a múltbeli hibái alapján ide vagy oda sorolni? A befektetett tőke védelme feljogosít-e minket arra, hogy valakinek a múltjában vájkáljunk? Szerintem nem. Mindenki követ el hibákat az életében, és joga van az újrakezdéshez. Ezt viszont teljesen ellehetetleníti a féktelen adatgyűjtés a felhasználókról.

Ezt a bejegyzést kicsit vitaindítónak szánom és direkt kerültem benne az olyan magas labdákat, mint a Kínai megfigyelési rendszer vagy az MI katonai alkalmazása. Inkább olyan kérdéseket akartam felvetni, amik talán nem annyira nyilvánvalóak. Szeretném ha elmondanátok, hogy ti mit gondoltok a felvetett problémákról.

Rekrám

A bejegyzés az ingyenes valós idejű közös munkát támogató online μr² Markdown szerkesztővel készült. EPUB és PDF változat letölthető: innen.

Irodalom

Végjegyzetek

  1. A folyóirat szerepel a Web of Science: Science Citation Index Expanded listáján, tehát mondhatjuk, hogy elismert tudományos lap. ↩︎
  2. Rassz szintjén ez a kérdés nem eldöntött. ↩︎
  3. Angolul: credit score ↩︎
  4. Ez a döntés valószínűleg hibás és a bíróságon megtámadják, de a döntés megszületése nem kevés idő. ↩︎
  5. Nem ez lenne az első eset. Például a Michigan munkaügyi központ új modellt (MiDAS) kezdett el alkalmazni 2013-ban. A modell egyik célja az volt, hogy kiszűrje a munkanélküli segéllyel való visszaéléseket. Mint kiderült az új modell nem volt tökéletes. A MiDAS 34 000 embert, az összes gyanús eset 85%-át, tévesen vádolta meg csalással. A hiba viszonylag gyorsan kiderült, és 2014-ben már bíróságon volt a dolog. Amiért ez érdekes, hogy az egyértelmű tévedés ellenére sem sikerült felelőst találni. Az ok prózai: időközben a vezetés, és valószínűleg az alkalmazottak nagy része is otthagyta a programot. Az új vezetés pedig nem volt képes a modell technikai részleteiről pontos felvilágosítást adni. Nehéz ezt elképzelni? Sajnos nem. Aki dolgozott IT rendszereken, az tudja, hogy könnyen lehet benne olyan „legacy” rész, ami lényegében olvashatatlan, és még a dokumentáció is hiányzik. Ekkor megválaszolhatatlan a kérdés, hogy az alkalmazást a felhasználó kezeli e rosszul, vagy maga a program rossz. Viszont ha ez tisztázatlan, akkor nem lehet felelőst keresni. ↩︎
  6. Megtakarításuk meg pont a nehéz helyzetük miatt nem lesz, hogy hitel nélkül megvegyék. ↩︎

Vélemény, hozzászólás?

Adatok megadása vagy bejelentkezés valamelyik ikonnal:

WordPress.com Logo

Hozzászólhat a WordPress.com felhasználói fiók használatával. Kilépés /  Módosítás )

Twitter kép

Hozzászólhat a Twitter felhasználói fiók használatával. Kilépés /  Módosítás )

Facebook kép

Hozzászólhat a Facebook felhasználói fiók használatával. Kilépés /  Módosítás )

Kapcsolódás: %s