Az algoritmikus elfogultság életünk számos területére hatással lehet, az online tartalomajánlások megszerzésétől a munkakeresésig és a pénzügyi döntések meghozataláig.
Az elfogultság az emberi természetben rejlik. Különböző emberek különböző neműek, különböző fajokkal, neveltetéssel, iskolai végzettséggel, kultúrával, hiedelmekkel, tapasztalatokkal és így tovább.
Így véleményük, gondolataik, tetszéseik és nem tetszéseik, preferenciáik különböznek egymástól. Előfordulhatnak bizonyos elfogultságok bizonyos kategóriák felé vagy ellen.
A gépek nem különböznek egymástól. Az algoritmusaikba bevezetett torzítások miatt ezek is másként láthatják az embereket, dolgokat és eseményeket. Ezen elfogultságok miatt a mesterséges intelligencia és az ML rendszerek tisztességtelen eredményeket produkálhatnak, sokféleképpen hátráltatva az embereket.
Ebben a cikkben megvitatom, hogy melyek az algoritmikus torzítások, azok típusai, és hogyan lehet észlelni és csökkenteni őket az eredmények igazságosságának javítása érdekében.
Kezdjük!
Tartalomjegyzék
Mik azok az algoritmikus torzítások?
Az algoritmikus torzítás az ML és AI algoritmusok azon tendenciája, hogy az emberhez hasonló torzításokat tükrözzék, és tisztességtelen kimeneteket generáljanak. Az elfogultság alapja lehet nem, életkor, faj, vallás, etnikai hovatartozás, kultúra stb.
A mesterséges intelligencia és a gépi tanulás összefüggésében az algoritmikus torzítások olyan szisztematikus, megismételhető hibák, amelyeket egy rendszerben vezetnek be, és tisztességtelen eredményeket produkálnak.
Az algoritmusok torzítása számos okból adódhat, például az adatok gyűjtésével, kiválasztásával, kódolásával vagy az algoritmus betanítása során történő felhasználásával kapcsolatos döntések, a tervezett felhasználás, az algoritmus tervezése stb.
Példa: Algoritmikus torzítást figyelhet meg a keresőmotor találataiban, ami adatvédelmi jogsértésekhez, közösségi torzításokhoz stb.
Az algoritmikus torzításoknak számos esete van olyan területeken, mint a választási eredmények, a gyűlöletbeszéd online terjesztése, az egészségügy, a büntető igazságszolgáltatás, a munkaerő-toborzás stb. Ez tovább fokozza a nemi, faji, gazdasági és társadalmi elfogultságokat.
Algoritmikus torzítások típusai
#1. Data Bias
Az adatok torzítására akkor kerül sor, ha a mesterséges intelligencia modell betanításához szükséges adatok nem reprezentálják megfelelően a valós forgatókönyveket vagy populációkat. Ez kiegyensúlyozatlan vagy ferde adatkészleteket eredményezhet.
Forrás: TELUS International
Példa: Tegyük fel, hogy egy arcfelismerő szoftvert elsősorban a fehér populációra tanítanak. Így előfordulhat, hogy rosszul teljesít, ha arra kapja a feladatot, hogy felismerje a sötétebb bőrtónusú embereket, ami hatással van rájuk.
#2. Mérési torzítás
Ez a torzítás a mérési vagy adatgyűjtési folyamat hibájából adódhat.
Példa: Ha egy egészségügyi diagnosztikai algoritmust betanít a betegség észlelésére bizonyos mutatók, például a korábbi orvosi látogatások alapján, az elhomályosíthatja az ítélőképességet és torzítást okozhat, miközben figyelmen kívül hagyja a tényleges tüneteket.
#3. Modell Bias
A modell torzításai az algoritmus vagy az AI-modell tervezése során merülnek fel.
Példa: Tegyük fel, hogy egy mesterséges intelligencia rendszernek van egy algoritmusa, amelyet úgy terveztek, hogy maximalizálja a profitot, bármilyen módon is; a végén előfordulhat, hogy az üzleti etika, a biztonság, a méltányosság stb. árán a pénzügyi nyereséget részesíti előnyben.
#4. Értékelési elfogultság
Az értékelési torzítás akkor fordulhat elő, ha az AI-rendszer teljesítményének értékelésére szolgáló tényezők vagy kritériumok torzak.
Forrás: Áttekintés törlése
Példa: Ha egy teljesítményértékelési mesterséges intelligencia rendszer szabványos teszteket használ, amelyek egy adott vállalati alkalmazotti kategóriát részesítenek előnyben, elősegítheti az egyenlőtlenségeket.
#5. Jelentés elfogultság
Jelentési torzítás akkor fordulhat elő, ha a betanítási adatkészlet nem tükrözi pontosan a valóságot az esemény gyakoriságában.
Példa: Ha egy AI biztonsági eszköz nem teljesít jól egy adott kategóriában, akkor a teljes kategóriát gyanúsként jelölheti meg.
Ez azt jelenti, hogy az adatkészlet, amelyre a rendszert betanították, minden, az adott kategóriához kapcsolódó történelmi eseményt nem biztonságosként jelölt meg az incidensek magasabb gyakorisága miatt.
#6. Kiválasztási torzítás
A szelekciós torzítás akkor lép fel, ha a betanítási adatokat megfelelő randomizálás nélkül választják ki, vagy nem reprezentálják jól a teljes populációt.
Példa: Ha egy arcfelismerő eszközt korlátozott adatokra képeznek ki, akkor előfordulhat, hogy bizonyos diszkriminációt mutat azokkal az adatokkal szemben, amelyekkel kevésbé találkozik, mint például a színes bőrű nők azonosítása a politikában, mint a férfiaké és a világosabb bőrűeké a politikában.
#7. Implicit Bias
Implicit torzítás akkor merül fel, amikor az AI algoritmus bizonyos személyes tapasztalatok alapján feltételezéseket tesz, amelyek esetleg nem vonatkoznak tágabb kategóriákra vagy emberekre.
Példa: Ha egy mesterséges intelligencia-algoritmust tervező adattudós személyesen úgy véli, hogy a nők elsősorban a rózsaszínt szeretik, nem pedig a kéket vagy a feketét, a rendszer ennek megfelelően ajánlhat termékeket, ami nem minden nőre vonatkozik. Sokan szeretik a kéket vagy a feketét.
#8. Csoporthozzárendelési torzítás
Ez az elfogultság akkor fordulhat elő, ha az algoritmustervezők bizonyos személyekre szánt dolgokat egy teljes csoportra alkalmaznak, függetlenül attól, hogy az egyének a csoport részét képezik-e vagy sem. A csoporthoz való hozzárendelés elfogultsága gyakori a toborzási és felvételi eszközökben.
Példa: Egy felvételi eszköz előnyben részesítheti egy adott iskola jelöltjeit, diszkriminálva a többi olyan diákot, akik nem tartoznak az adott iskolába.
#9. Történelmi elfogultság
Az előzményadatkészletek összegyűjtése fontos az ML-algoritmus betanításához szükséges adatkészletek gyűjtésekor. De ha nem figyel oda, az algoritmusokban torzítás fordulhat elő az előzményadatokban előforduló torzítások miatt.
Példa: Ha egy mesterséges intelligencia-modellt képez ki 10 éves múltbeli adatokkal, hogy kiválaszthassa a műszaki pozíciókra jelölteket, akkor a férfi jelentkezőknek kedvezhet, ha a képzési adatokban több férfi szerepel, mint nő.
#10. Label Bias
Az ML algoritmusok betanítása során előfordulhat, hogy sok adatot kell felcímkéznie, hogy hasznos legyen. Az adatok címkézésének folyamata azonban nagyon eltérő lehet, következetlenségeket generálva, és elfogultságot okozva az AI-rendszerben.
Példa: Tegyük fel, hogy egy mesterséges intelligencia-algoritmust oktat úgy, hogy a macskákat dobozokkal címkézi fel a képeken. Ha nem figyel, előfordulhat, hogy az algoritmus nem képes azonosítani egy macskát a képen, ha az arca nem látható, de képes azonosítani azokat, amelyeken macskaarc van.
Ez azt jelenti, hogy az algoritmus elfogult az elöl néző macskák képeinek azonosításakor. Nem tudja azonosítani a macskát, ha a kép más szögből készült, amikor a test látható, de az arc nem.
#11. Kizárási elfogultság
Forrás: ResearchGate
Kizárási torzítás akkor merül fel, ha egy adott személyt, emberek egy csoportját vagy egy kategóriát akaratlanul vagy szándékosan kizárnak az adatgyűjtés során, ha úgy gondolják, hogy irreleváns. Leginkább az ML életciklusának adat-előkészítési szakaszában, az adatok tisztítása és felhasználásra történő előkészítése során történik.
Példa: Tegyük fel, hogy egy mesterséges intelligencia-alapú előrejelző rendszernek meg kell határoznia egy adott termék népszerűségét a téli szezonban a vásárlási aránya alapján. Tehát, ha egy adatkutató észrevesz néhány vásárlást októberben, és eltávolítja ezeket a rekordokat, azt gondolva, hogy hibásak, és a szokásos időtartamot novembertől januárig veszi. De vannak helyek, amikor a tél meghaladja ezeket a hónapokat. Tehát az algoritmus a novembertől januárig télen átélt országok felé fog irányulni.
Hogyan kerülnek be az torzítások az algoritmusokba?
Képzési adatok
Az algoritmikus torzítás fő forrása az AI és ML algoritmusok betanításához használt torzított adatok. Ha magában a betanítási adatban is vannak egyenlőtlenségek és előítéletek, az algoritmus megtanulja ezeket az elemeket, és állandósítja a torzításokat.
Tervezés
Az algoritmus megtervezésekor a fejlesztő tudatosan vagy tudatlanul bevezetheti személyes gondolatainak vagy preferenciáinak tükröződését az AI-rendszerbe. Tehát az AI-rendszer bizonyos kategóriák felé elfogult.
Döntéshozatal
Sokszor az adattudósok és vezetők személyes tapasztalataik, környezetük, hiedelmeik stb. alapján hoznak döntéseket. Ezek a döntések az algoritmusokban is tükröződnek, ami torzítást okoz.
A sokszínűség hiánya
A fejlesztőcsapat sokszínűségének hiánya miatt a csapattagok olyan algoritmusokat készítenek, amelyek nem reprezentálják a teljes populációt. Nincsenek tapasztalataik és nincsenek más kultúrákkal, hátterükkel, hiedelmekkel, módszerekkel stb. kapcsolatos tapasztalataik, ezért algoritmusaik bizonyos szempontból elfogultak lehetnek.
Adatok előfeldolgozása
Az adatok tisztítására és feldolgozására használt módszer algoritmikus torzítást vezethet be. Ezen túlmenően, ha nem gondosan tervezi meg ezeket a módszereket az elfogultság ellensúlyozása érdekében, ez súlyossá válhat az AI-modellben.
Építészet
A választott modellarchitektúra és az ML algoritmus típusa torzítást is bevezethet. Egyes algoritmusok jobban vonzzák a torzítást, mint mások, valamint a tervezésük.
Funkció kiválasztása
Az AI-algoritmus betanításához választott funkciók az elfogultság egyik oka. Ha nem úgy választja ki a jellemzőket, hogy figyelembe veszi azok hatását a kimenet tisztességére, akkor bizonyos kategóriák előnyben részesítéséhez bizonyos torzítások léphetnek fel.
Történelem és kultúra
Ha egy algoritmust a történelemből vagy bizonyos kultúrákból vett adatokkal táplálnak és képeznek, örökölhet olyan torzításokat, mint az előítéletek, hiedelmek, normák stb. Ezek a torzítások még akkor is hatással lehetnek a mesterséges intelligencia kimenetelére, ha igazságtalanok és a jelenben irrelevánsak.
Data Drift
Az AI-algoritmusok betanításához használt adatok a jövőben irrelevánssá, használhatatlanná vagy elavulttá válhatnak. Ennek oka lehet a változó technológia vagy a társadalom. Ezek az adatkészletek azonban továbbra is torzítást okozhatnak, és gátolhatják a teljesítményt.
Visszacsatolási hurkok
Egyes AI-rendszerek nemcsak kommunikálni tudnak a felhasználókkal, hanem alkalmazkodni is tudnak viselkedésükhöz. Ily módon az algoritmus növelheti a meglévő torzítást. Tehát amikor a felhasználók személyes előítéletei belépnek az AI-rendszerbe, az torzított visszacsatolási hurkot generálhat.
Hogyan lehet felismerni az algoritmikus torzítást?
Határozza meg, mi az „tisztességes”
A tisztességtelen eredmények vagy az algoritmusok torzításainak észleléséhez meg kell határoznia, hogy pontosan mit jelent a „méltányos” az AI-rendszer számára. Ehhez figyelembe vehet olyan tényezőket, mint a nem, kor, rassz, szexualitás, régió, kultúra stb.
Határozza meg a méltányosság kiszámításához szükséges mérőszámokat, mint például az esélyegyenlőség, a prediktív paritás, a hatások stb. Miután meghatározta a „méltányosság” fogalmát, könnyebben felismeri, mi nem igazságos, és megoldja a helyzetet.
Képzési adatok ellenőrzése
Elemezze alaposan edzési adatait, hogy keresse az egyensúlytalanságokat és a következetlenségeket a különböző kategóriák megjelenítésében. Meg kell vizsgálnia a jellemzők eloszlását, és ellenőriznie kell, hogy az valós demográfiai adatokat képvisel-e vagy sem.
Az adatok megjelenítéséhez hisztogramokat, hőtérképeket, szórásdiagramokat stb. hozhat létre, hogy kiemelje azokat az eltéréseket és mintákat, amelyeket pusztán statisztikai elemzéssel nem lehet feltárni.
A belső auditokon kívül külső szakértőket és auditorokat is bevonhat a rendszerelfogultság értékelésére.
Mérje meg a modell teljesítményét
A torzítások észleléséhez próbálja meg mérni az AI-modell teljesítményét különböző demográfiai adatok és kategóriák szerint. Segítene, ha a képzést különböző csoportokra osztaná faj, nem stb. alapján. A méltányossági mérőszámok segítségével kiszámíthatja az eredmények közötti különbségeket is.
Használjon megfelelő algoritmusokat
Válasszon olyan algoritmusokat, amelyek tisztességes eredményeket hoznak létre, és képesek kezelni az AI-modell képzése során fellépő torzítást. A méltányosság-tudatos algoritmusok célja a torzítás megakadályozása, miközben egyenlő előrejelzéseket biztosítanak a különböző kategóriákban.
Elfogultság-észlelő szoftver
A torzítások észleléséhez speciális eszközöket és könyvtárakat használhat, amelyek tisztában vannak a méltányossággal. Ezek az eszközök méltányossági mutatókat, vizualizációkat, statisztikai teszteket és még sok mást kínálnak az elfogultság észleléséhez. Néhány népszerű az AI Fairness 360 és az IBM Fairness 360.
Kérjen felhasználói visszajelzést
Kérjen visszajelzést a felhasználóktól és ügyfelektől az AI-rendszerrel kapcsolatban. Bátorítsa őket, hogy mondják el őszinte véleményüket, ha bármilyen méltánytalan bánásmódot vagy elfogultságot éreztek az AI-rendszerben. Ezek az adatok segítenek kideríteni azokat a problémákat, amelyeket az automatizált eszközök és más észlelési eljárások esetleg nem jelölnek meg.
Az algoritmusok torzításának csökkentése
Vállalata diverzifikálása
A diverzitás megteremtése vállalatában és fejlesztőcsapatában lehetővé teszi a torzítások gyorsabb észlelését és eltávolítását. Ennek oka az, hogy az elfogultságokat gyorsan észrevehetik az általuk érintett felhasználók.
Tehát diverzifikálja vállalatát nemcsak demográfiai adatok, hanem készségek és szakértelem tekintetében is. Tartalmazzon különböző nemű, identitású, rasszú, bőrszínű, gazdasági háttérrel rendelkező stb., valamint különböző oktatási tapasztalattal és hátterű embereket.
Ily módon széles körű nézőpontokat, tapasztalatokat, kulturális értékeket, tetszéseket és nemtetszéseket stb. gyűjthet össze. Ez segít javítani mesterséges intelligencia-algoritmusainak tisztességességét, csökkentve az előítéleteket.
Az átláthatóság előmozdítása
Legyen átlátható csapata számára a mesterséges intelligencia-rendszer céljával, algoritmusaival, adatforrásaival és döntéseivel kapcsolatban. Ez lehetővé teszi a felhasználók számára, hogy megértsék, hogyan működik az AI-rendszer, és miért generál bizonyos kimeneteket. Ez az átláthatóság erősíteni fogja a bizalmat.
Fairness Aware algoritmusok
Használjon méltányosság-tudatos algoritmusokat a modell kidolgozásakor, hogy biztosítsa a méltányos eredményeket a különböző kategóriákhoz. Ez nyilvánvalóvá válik, ha mesterséges intelligencia rendszereket hoz létre olyan szigorúan szabályozott iparágak számára, mint a pénzügy, az egészségügy stb.
A modell teljesítményének értékelése
Tesztelje modelljeit, hogy megvizsgálja az AI teljesítményét különböző csoportokban és alcsoportokban. Segít megérteni azokat a problémákat, amelyek nem láthatók az összesített mutatókban. Különböző forgatókönyvek szimulálásával ellenőrizheti azok teljesítményét ezekben a forgatókönyvekben, beleértve az összetetteket is.
Kövesse az etikai irányelveket
Fogalmazzon meg néhány etikai irányelvet az AI-rendszerek fejlesztéséhez, tiszteletben tartva a méltányosságot, a magánélet védelmét, a biztonságot és az emberi jogokat. Ezeket az irányelveket az egész szervezetben érvényesítenie kell annak érdekében, hogy a méltányosság az egész szervezetre kiterjedjen, és tükröződjön az AI-rendszer eredményeiben.
Állítsa be az ellenőrzéseket és a felelősségeket
Határozzon meg egyértelmű felelősségeket a csapat minden tagja számára, aki az AI-rendszer tervezésén, fejlesztésén, karbantartásán és telepítésén dolgozik. Megfelelő vezérlőket is be kell állítania szigorú protokollokkal és keretrendszerekkel, hogy kezelje a torzításokat, hibákat és egyéb problémákat.
A fentieken kívül rendszeres ellenőrzéseket kell végeznie az elfogultságok csökkentése és a folyamatos fejlesztések érdekében. Ezenkívül naprakész legyen a technológia, a demográfia és más tényezők legújabb változásaival kapcsolatban.
Valós példák az algoritmikus torzításokra
#1. Amazon algoritmusa
Az Amazon vezető szerepet tölt be az e-kereskedelmi ágazatban. Azonban annak toborzó eszköz amelyek a mesterséges intelligencia segítségével értékelték az állásra jelentkezőket képesítésük szerint, nemi elfogultságot mutattak. Ezt a mesterséges intelligencia rendszert a korábbi műszaki beosztású jelöltek önéletrajzai alapján képezték ki.
Sajnos az adatokban több férfi jelentkező szerepelt, amit az AI megtudott. Így akaratlanul is előnyben részesítette a technikai szerepekben betöltő férfi jelentkezőket az alulreprezentált nőkkel szemben. Az Amazonnak 2017-ben le kellett állítania az eszközt annak ellenére, hogy erőfeszítéseket tett az elfogultság csökkentésére.
#2. Rasszista amerikai egészségügyi algoritmusok
Az amerikai kórházak által a további ellátásra szoruló betegek előrejelzésére használt algoritmus erős volt elfogult a fehér betegekkel szemben. A rendszer az egészségügyi kiadások előzményei alapján értékelte a betegek egészségügyi szükségleteit, összefüggésbe hozva a költségeket az egészségügyi szükségletekkel.
A rendszer algoritmusa nem vette figyelembe, hogy a fehér és fekete betegek hogyan fizettek egészségügyi szükségleteikért. Az ellenőrizetlen betegség ellenére a fekete betegek többnyire a sürgősségi ellátásért fizettek. Így az egészségesebb betegek kategóriába sorolták őket, és nem voltak jogosultak további ellátásra, mint a fehér betegek.
#3. A Google megkülönböztető algoritmusa
Megtalálták a Google online hirdetési rendszerét megkülönböztető. Jól fizető pozíciókat, például vezérigazgatói pozíciókat mutatott a férfiaknál lényegesen nagyobb arányban, mint a nőknél. Még ha az egyesült államokbeli vezérigazgatók 27%-a nő is, a Google-nél jóval kisebb, 11% körüli az arányuk.
Az algoritmus megjeleníthette volna a kimenetet a felhasználói viselkedés megtanulásával, mint például a jól fizető szerepekért hirdetéseket megtekintő és rájuk kattintó emberek férfiak; az AI algoritmus ezeket a hirdetéseket inkább férfiaknak fogja megjeleníteni, mint nőknek.
Következtetés
Az algoritmikus torzítás az ML és AI rendszerekben tisztességtelen eredményekhez vezethet. Ezek az eredmények különböző területeken érinthetik az egyéneket, az egészségügytől, a kiberbiztonságtól és az e-kereskedelemtől a választásokig, a foglalkoztatásig stb. Ez nemi, faji, demográfiai, szexuális irányultság és egyéb szempontok alapján történő megkülönböztetéshez vezethet.
Ezért fontos az AI és ML algoritmusok torzításainak csökkentése az eredmények igazságosságának előmozdítása érdekében. A fenti információk segítenek felismerni és csökkenteni a torzításokat, így tisztességes mesterséges intelligencia rendszereket hozhat létre a felhasználók számára.
Olvashat az AI-irányításról is.