Kate Crawford „A torzítás az alapanyag lett; IA ”; Internetes hírek
Kate Crawford (@katecrawford) az AI Now Intézet (@AINowInstitute, blog) társalapítója (Meredith Whittakerrel (@mer__edith) együtt). A Microsoft Research kutatója, a New York-i Egyetem professzora a műszaki rendszerek társadalmi következményeinek tanulmányozására szakosodott, beleértve a Big Data, az algoritmusok és a mesterséges intelligencia hatásait. Az École normale supérieure-n nyílt AI és Justice vendégszék beiktatása alkalmából lenyűgöző előadást tartott e technológiák kihívásairól. Szánjunk időt arra, hogy letekerjük !
"Példa nélküli erejű technikai rendszerekkel állunk szemben, amelyek nagyon gyorsan érintik az összes ágazatot, az oktatástól az egészségügyig, a gazdaságtól az igazságszolgáltatásig ... És a folyamatban lévő átalakulás egyidejűleg a tekintélyelvűség és a populizmus térnyerésével jár együtt." Ez a fejlemény nem véletlen, állítja a kutató: mindkettő megkérdőjelezi a hatalom központosítását, és megköveteli a hatalom formáival kapcsolatos kritikai megértésünk javítását. Ez a kombináció erősíti az ezen eszközök elsajátításának és elszámoltathatóságának nehézségeit, és megköveteli a politika, a hatalom és az AI közötti kapcsolatok mélyreható megértését. "Az AI a hatalom új mérnöke." A tudománynak, a társadalomnak és a hatóságoknak meg kell találniuk az elszámoltathatóság módját. "Ez nem csak tisztesség, hűség, őszinteség vagy felelősség kérdése! Igazságosság kérdése! », Kate Crawfordot nem szenvedély nélkül mutatja be.
Kép: Kate Crawford az ENS színpadán, Stéphanie Hare fényképezte.
Crawford emlékszik Elizára, az első csevegőrobotra, amelyet az 1960-as években Joseph Weizenbaum informatikus fejlesztett ki. Ez a mesterséges intelligencia-úttörő már arra figyelmeztetett minket, hogy az AI csábító potenciálja azzal a kockázattal jár, hogy elfeledjük és figyelmen kívül hagyjuk annak mély politikai következményeit. Eliza nagyon egyszerű program volt, de sokan, akik játszottak vele, lenyűgözte a program, meggyőződve arról, hogy valaki mögé bújik, hogy beszéljen velük „Akkoriban a világ legokosabb emberei gondolkodtak. Mesterséges intelligencia, és izgalmas volt … ”Weizenbaum már figyelmeztetett az AI-vel kapcsolatos kiábrándultságra, és hangsúlyozta, hogy ezek a technológiák lehetővé teszik a mérnökök számára, hogy távol tartsák az általuk tervezett rendszerek emberi költségeit. Pontosan ezt mondta a prediktív rendészeti program fiatal mérnöke. Továbbra sem vesszük figyelembe az általunk létrehozott eszközök társadalmi következményeit. 60 évvel később még mindig ragadtak bennünket ezek a kérdések, de az AI által kiváltott társadalmi változások mélyrehatóak. Ezekkel a társadalmi, etikai és politikai kérdésekkel ugyanolyan elkötelezettséggel és szigorúsággal kell foglalkoznunk, mint a technikai rendszerek optimalizálása során. !
Az AI egyszerre technológia, társadalmi gyakorlat és ipari infrastruktúra
"Az elfogultság az AI alapanyaga lett"
Hogy még konkrétabb legyek, a kutató arra készteti hallgatóságát, hogy nézze meg a rendszerünket tápláló képeket, nyissa ki a motorháztetőt és értse meg, hogyan működik a képfelismerő rendszerek képzése. Példaként szolgál a képfelismerés képzési rendszereiben általában használt címkézett képek halmaza. Ez egy 13 000 képkocka-készlet, amellyel rendszereket képeznek a minták felismerésére ... De nem elfogultság nélküli. 78% férfi és 84% fehér ember portréja alkotja, ami azt jelenti, hogy ezekből az adatokból kiképzett rendszerek működnek a legjobban a fehér férfiaknál. Ezt a játékot elsősorban úgy készítették össze, hogy "lekaparták" (vagyis adatokat gyűjtöttek, nem feltétlenül azoknak a helyeknek a beleegyezésével, amelyekből szívták) a Yahoo News fotóit 2002 és 2004 között, ahol az a tény, hogy az arc a bázisban leginkább George W. Bush van jelen. Ez az egyszerű példa rávilágít arra, hogy az adatkészletek hogyan tükrözik a meglévő társadalmi hierarchiákat és hatalmi struktúrákat.
Egy másik példa az AVA, a jegyzetekkel ellátott videók adatbázisának használata, amely lehetővé teszi a gépek számára az emberi cselekedetek és az emberi tevékenységek megértését, például egy ital tartását vagy egy széken ülést. A probléma az, hogy amikor egy tevékenységhez kapcsolódó videókat néz meg, például gyermekekkel játszik, csak nőket lát, férfiakat nem. Ha a rúgó személy kategóriát keresed, akkor csak erőszakos jeleneteket találsz a kung fu-t gyakorló férfiakkal! Ezek a példák azt mutatják, hogy ezek a képzési alapok egy sajátos életképünket tárják fel, nagyon normatívak, nagyon sztereotipikusak és nagyon korlátozottak.
Ezek az elfogultságok nemcsak a képeket szennyezik, hanem megtalálhatók azokban a szavakban is, amelyeket ezek a rendszerek használnak, akár gépi fordításra, akár a képek és videók automatikus címkézésére. Az általunk használt szavak gyakran erős nemi konnotációval bírnak - derül ki egy tanulmányból. Így az olyan szavak, mint a "zsenialitás" vagy a "taktika", főként a férfias névmásokhoz kapcsolódnak, míg a "szép" vagy "előadás" szavakhoz a női névmások. Ezek a nyelvi torzítások természetesen megtalálhatók az érzelmi elemzésben, amely abból áll, hogy érzelmeket határoznak meg szövegekből vagy arcképekből vagy attitűdökből. Kiadásakor a Google Natural Language API negatív érzelmekkel társította az olyan kifejezéseket, mint a zsidó vagy a meleg (lásd: „Az automatizált és az empatikus interakciók felé egyaránt”). A fehér hatalom kifejezés pozitív érzelmekkel jár, ellentétben a feminista kifejezéssel ... "Az elfogultság az AI alapanyaga lett"
Ahogy Moritz Hardt (@mrtz) informatikus egy kis humoros grafikájában összefoglalták, sokáig azt gondolták, hogy a gépi tanulással minden rendben van, amíg a rendszerek és a tanulmányok meg nem szaporodnak ... és megmutatták a diszkrimináció problémájának mértékét, és ez Ezeknek a rendszereknek a bevezetése emberek millióit vonzza és hatja meg - magyarázza Jack Nicholson képének bemutatásával a The Shining című filmben, hallucinált arcával az ajtó lyukában, amelyet fejszével tör meg, és amelyet egy képelemző szoftver így ír le: " boldog".