Корисник:GrupaMATF/песак

С Википедије, слободне енциклопедије
Dijagram toka koji prikazuje odluke koje donose sistemi za preporuke, otprilike 2001. godine [1]

Algoritamska pristrasnost opisuje sistematske i ponavljajuće greške u računarskom sistemu koje stvaraju nepravedne ishode, kao što je privilegovanje jedne kategorije u odnosu na drugu na načine koji se razlikuju od namenjene funkcije algoritma.

Pristrasnost može nastati iz mnogih faktora, uključujući, ali ne ograničavajući se na dizajn algoritma, nenamernu upotrebu, neočekivanu upotrebu ili odluke koje se odnose na način kodiranja, prikupljanja, odabira ili upotrebe podataka za obuku algoritma. Na primer, primećena je algoritamska pristrasnost u rezultatima pretrage na pretraživačima i društvenim mrežama. Ova pristrasnost može imati uticaj koji varira od nenamernog kršenja privatnosti do jačanja društvenih pristrasnosti vezanih za rasu, pol, seksualnu orijentaciju i etničku pripadnost. Proučavanje algoritamske pristrasnosti najviše se bavi algoritmima koji odražavaju sistematsku i nepravednu diskriminaciju. Ova pristrasnost je nedavno počela da se adresira u pravnim okvirima, kao što su Opšta uredba o zaštiti podataka (2018) i predloženi Zakon o veštačkoj inteligenciji (2021), Evropske unije.

Kako algoritmi proširuju svoju sposobnost da organizuju društvo, politiku, institucije i ponašanje, sociolozi su postali zabrinuti zbog načina na koji neočekivani izlaz i manipulacija podacima mogu uticati na fizički svet. Zbog toga što se algoritmi često smatraju neutralnim i bez pristrasnosti, oni mogu pogrešno dati privid većeg autoriteta od ljudskog stručnog znanja (delom zbog psihološkog fenomena pristrasnosti automatizacije), a u nekim slučajevima, oslanjanje na algoritme može zameniti ljudsku odgovornost za njihove ishode. Pristrasnost može ući u algoritamske sisteme kao rezultat postojećih kulturnih, društvenih ili institucionalnih očekivanja; zbog tehničkih ograničenja njihovog dizajna; ili korišćenjem u neočekivanim kontekstima ili od strane publike koja nije uzeta u obzir u početnom dizajnu softvera.

Algoritamska pristrasnost je bila navedena u slučajevima koji se kreću od ishoda izbora do širenja govora mržnje na internetu. Takođe se pojavila u pravosuđu, zdravstvu, zapošljavanju, pogoršavajući postojeće rasne, socijalne i rodne predrasude. Relativna nesposobnost tehnologije prepoznavanja lica da tačno identifikuje tamnopute osobe povezana je sa višestrukim nepravednim hapšenjima crnih muškaraca, a to je pitanje koje proizlazi iz neuravnoteženih skupova podataka. Problemi u razumevanju, istraživanju i otkrivanju algoritamske pristrasnosti i dalje postoje zbog zaštićene prirode algoritama koji se obično tretiraju kao poslovna tajna. Čak i kada se pruži potpuna transparentnost, složenost određenih algoritama predstavlja prepreku u razumevanju njihovog funkcionisanja. Osim toga, algoritmi se mogu menjati ili odgovarati na ulaz ili izlaz na načine koji se ne mogu predvideti ili lako reprodukovati za analizu. U mnogim slučajevima, čak i unutar jedne web stranice ili aplikacije, ne postoji jedan algoritam za ispitivanje, već mreža mnogih povezanih programa i ulaza podataka, čak i između korisnika iste usluge.

Definicije[уреди | уреди извор]

Dijagram iz 1969. godine koji prikazuje kako jednostavan računarski program donosi odluke, ilustrujući vrlo jednostavan algoritam.

Algoritmi su teški za definisanje,[2] ali se opšte mogu shvatiti kao liste instrukcija koje određuju kako programi čitaju, prikupljaju, obrađuju i analiziraju podatke kako bi generisali izlaz.[3] Za strogo tehnički uvod, pogledajte Algoritam. Napredak u računarskom hardveru doveo je do povećane sposobnosti obrade, skladištenja i prenosa podataka. To je podstaklo dizajn i usvajanje tehnologija poput mašinskog učenja i veštačke inteligencije.[4] Analizirajući i obrađujući podatke, algoritmi su osnova pretraživača,[5] društvenih medija,[6] sistema preporuka,[7] onlajn trgovine,[8] onlajn oglašavanja,[9] i mnogih drugih usluga.[10]

Savremeni društveni naučnici su zabrinuti zbog algoritamskih procesa ugrađenih u hardverske i softverske aplikacije zbog njihovog političkog i društvenog uticaja, te dovode u pitanje pretpostavke neutralnosti algoritma.[11][12][13][14] Pojam algoritamske pristrasnosti opisuje sistematske i ponavljajuće greške koje stvaraju nepravedne ishode, kao što je davanje privilegija jednoj proizvoljnoj grupi korisnika u odnosu na druge.Na primer, algoritam kreditnog rejtinga može odbiti kredit bez nepravde, ako dosledno uzima u obzir relevantne finansijske kriterijume. Ako algoritam preporučuje kredite jednoj grupi korisnika, ali odbija kredite drugom skupu gotovo identičnih korisnika na osnovu nepovezanih kriterijuma, i ako se ovakvo ponašanje može ponoviti u mnogim situacijama, tada se algoritam može opisati kao pristrasan.[15] Ova pristranost može biti namerna ili nenamerna (na primer, može proizlaziti iz pristranih podataka dobijenih od radnika koji je prethodno obavljao posao koji će algoritam sada obavljati).

Metode[уреди | уреди извор]

Pristranost se može uneti u algoritam na nekoliko načina. Prilikom sastavljanja skupa podataka, podaci se mogu prikupljati, digitalizovati, prilagođavati i uneti u bazu podataka prema kriterijumima katalogizacije koje je osmislio čovek.[16] Zatim, programeri dodeljuju prioritete, odnosno hijerarhije, za način na koji program procenjuje i sortira te podatke. To zahteva ljudske odluke o tome kako se podaci kategorizuju, i koji podaci se uključuju ili odbacuju.[16]  Neki algoritmi prikupljaju sopstvene podatke na osnovu kriterijuma koje su odabrali ljudi, što takođe može odražavati pristrasnost ljudskih dizajnera.[16] Drugi algoritmi mogu ojačati stereotipe i preference dok obrađuju i prikazuju relevantne podatke za ljudske korisnike, na primer, odabirom informacija na osnovu prethodnih izbora sličnog korisnika ili grupe korisnika.[16]

Osim sastavljanja i obrade podataka, pristranost može proizaći i iz samog dizajna.[17] Na primer, algoritmi koji određuju raspodelu resursa ili nadzor (kao što je određivanje mesta u školi) mogu nenamerno diskriminisati kategoriju kada procenjuju rizik na osnovu sličnih korisnika (kao u slučaju kreditnog rejtinga).[18] U međuvremenu, sistemi za preporuku koji rade tako što povezuju korisnike sa sličnim korisnicima, ili koji koriste pretpostavljene marketinške osobine, mogu se oslanjati na netačne asocijacije koje odražavaju široke etničke, rodne, socio-ekonomske ili rasne stereotipe. Još jedan primer dolazi od utvrđivanja kriterijuma za ono što se uključuje i isključuje iz rezultata. Ti kriterijumi mogu predstavljati neočekivane ishode za rezultate pretrage, kao što je slučaj sa softverom za preporuku letova koji izostavlja letove koji ne prate putanje letova sponzorske aviokompanije.[17] Algoritmi takođe mogu pokazati pristranost prema neizvesnosti, nudeći sigurnije procene kada su dostupni veći skupovi podataka. To može iskriviti algoritamske procese u pravcu rezultata koji više odgovaraju većim uzorcima, što može zanemariti podatke o nedovoljno zastupljenim populacijama.[19]

Istorija[уреди | уреди извор]

Ova kartica se koristila za učitavanje softvera u stari mejnfrejm računar. Svaki bajt (na primer, slovo 'A') se unosi pravljenjem rupa. Iako su savremeni računari složeniji, oni odražavaju ovaj ljudski proces donošenja odluka pri prikupljanju i obradi podataka.[20]

Rane kritike[уреди | уреди извор]

Najraniji računarski programi su bili dizajnirani da oponašaju ljudsko zaključivanje i dedukciju, te su smatrani funkcionalnim kada su uspešno i dosledno reprodukovali tu ljudsku logiku. U svojoj knjizi „Računarska moć i ljudski razum” iz 1976. godine, pionir veštačke inteligencije Džozef Vajzenbaum je predložio da pristrasnost može proizaći kako iz podataka korišćenih u programu, tako i iz načina na koji je programiran.[21]

Vajzenbaum je napisao da su programi niz pravila koja su stvorili ljudi da bi ih računar sledio. Sledeći ta pravila dosledno, takvi programi inkarniraju zakon,[21] tj. primenjuju specifičan način za rešavanje problema. Pravila koja računar sledi zasnivaju se na pretpostavkama programera o tome kako bi ti problemi mogli biti rešeni. To znači da kod može uključivati ​​imaginaciju programera o tome kako svet funkcioniše, uključujući njihove predrasude i očekivanja.[21]  Iako računarski program može na ovaj način uključiti pristrasnost, Vajzenbaum je takođe primetio da bilo koji podaci koji se unose u mašinu takođe odražavaju ljudske procese odlučivanja jer se podaci biraju.[21]

Na kraju, primetio je da mašine mogu takođe prenositi dobre informacije s neželjenim posledicama ako korisnicima nije jasno o tome kako interpretirati rezultate. [21] Vajzenbaum je upozorio da se ne treba uzdati u odluke koje donose računarski programi koje korisnik ne razume, poredeći takvo poverenje sa turistom koji može pronaći svoju hotelsku sobu isključivo kretanjem levo ili desno bacanjem novčića. Bitno je da turista nema osnovu za razumevanje kako ili zašto je stigao do svoje destinacije, a uspešan dolazak ne znači da je proces tačan ili pouzdan.[21]

Jedan od ranih primera algoritamske pristrasnosti rezultirao je u tome da je od 1982. do 1986. godine čak 60 žena i etničkih manjina bilo odbijeno za upis na Medicinski fakultet u Londonu. To se desilo zbog implementacije novog računarskog sistema za vođenje ocena koji je odbijao ulazak ženama i muškarcima sa imenima koja zvuče strano, na osnovu istorijskih trendova u prijemima.[22] Iako su mnoge škole u to vreme primenjivale slične pristrasnosti u svom procesu selekcije, ovaj fakultet se isticao po tome što je automatizovao tu pristrasnost kroz upotrebu algoritma, čime je privukao pažnju ljudi na mnogo širem nivou.

U poslednjih nekoliko godina, kada je sve više algoritama počelo da koristi metode mašinskog učenja na stvarnim podacima, algoritamska pristrasnost se češće pronalazi zbog pristrasnosti koja postoji u podacima.

Savremene kritike i odgovori[уреди | уреди извор]

Iako dobro dizajnirani algoritmi često dovode do jednakih ili čak pravednijih ishoda od odluka koje donose ljudi, ipak se događaju slučajevi pristrasnosti, a teško ih je predvideti i analizirati.[23] Složenost analiziranja algoritamske pristrasnosti porasla je zajedno sa složenošću programa i njihovog dizajna. Odluke koje donosi jedan dizajner ili tim dizajnera mogu biti skrivene među mnogim delovima koda koji su napravljeni za jedan program. Vremenom se ove odluke i njihov zajednički uticaj na izlaz programa mogu zaboraviti.[24] U teoriji, ove pristrasnosti mogu stvoriti nove obrasce ponašanja, odnosno skripte, u vezi sa određenim tehnologijama, kako se kod interaktuje sa drugim elementima društva.[25] Pristrasnosti takođe mogu uticati na to kako se društvo oblikuje oko podataka koje algoritmi zahtevaju. Na primer, ako podaci pokazuju visok broj hapšenja u određenom području, algoritam može dodeliti više policijskih patrola tom području, što može dovesti do više hapšenja.[26]

Odluke algoritamskih programa mogu se smatrati autoritativnijim od odluka ljudi koje su namenjeni da podrže,[27] proces koji autor Klej Širki opisuje kao algoritamska autoritativnost.[28] Širki koristi ovaj termin da bi opisao „odluku da se neupravljan proces ekstrakcije vrednosti iz različitih, nepouzdanih izvora smatra autoritativnim”, kao što su rezultati pretrage.[28] Ova neutralnost može biti pogrešno predstavljena jezikom koji koriste stručnjaci i mediji prilikom prezentovanja rezultata javnosti. Na primer, lista vesti koja je odabrana i predstavljena kao popularna ili aktuelna može biti kreirana na osnovu kriterijuma koji su značajno širi od same popularnosti.[16]

Zbog svoje praktičnosti i autoriteta, algoritmi se teoretski posmatraju kao sredstvo za prenošenje odgovornosti sa ljudi.[27] [29]  To može imati efekat smanjenja alternativnih opcija, kompromisa ili fleksibilnosti. Sociolog Skot Laš je kritikovao algoritme kao novu formu generativne moći, u smislu da su oni virtuelno sredstvo generisanja stvarnih ciljeva. Gde je ranije ljudsko ponašanje generisalo podatke koji su se sakupljali i proučavali, moćni algoritmi sve više mogu oblikovati i definisati ljudsko ponašanje.[30]

Zabrinutost zbog uticaja algoritama na društvo dovela je do formiranja radnih grupa u organizacijama poput Gugla i Majkrosofta, koje su zajedno osnovale radnu grupu pod nazivom „Pravičnost, Odgovornost i Transparentnost u Mašinskom Učenju”.[31] Ideje iz Gugl uključuju zajedničke grupe koje nadgledaju rezultate algoritama i glasaju da bi kontrolisale ili ograničile izlaze koji imaju negativne posledice.[31] U poslednjih nekoliko godina, proučavanje pravičnosti, odgovornosti i transparentnosti algoritama je postalo samostalno interdisciplinarno istraživačko područje, sa godišnjom konferencijom nazvanom FAccT.[32] Kritičari su sugerisali da ove inicijative ne mogu efikasno delovati kao nezavisni nadzornici kada mnoge od njih finansiraju korporacije koje grade sisteme koji se proučavaju.[33]

Tipovi[уреди | уреди извор]

Već postojeći[уреди | уреди извор]

Već postojeća pristranost u algoritmu je posledica temeljnih društvenih i institucionalnih ideologija. Takve ideje mogu uticati ili stvoriti lične pristranosti unutar pojedinih dizajnera ili programera. Takve predrasude mogu biti eksplicitne i svesne, ili implicitne i nesvesne.[15][13] Loše odabrani ulazni podaci ili podaci sa pristrasnim izvorom će uticati na rezultate koje stvaraju mašine.[20] Ugrađivanje prethodno postojećih predrasuda u softver može sačuvati društvene i institucionalne predrasude, a bez ispravljanja, mogu biti replicirane u svim budućim primenama tog algoritma.[24][29]

Primer ovakvog oblika pristrasnosti je Britanski program za zakon o državljanstvu, dizajniran da automatizuje evaluaciju novih britanskih građana nakon usvajanja Zakona o državljanstvu Britanije 1981. godine.[15] Program je tačno odražavao načela zakona koji je navodio da „muškarac može biti otac samo svoje bračne dece, dok žena može biti majka svog svog deteta, bilo da je bračno ili vanbračno.”[34] U pokušaju da prenese određenu logiku u algoritamski proces, Britanski program za zakon o državljanstvu je utisnuo logiku Zakona o državljanstvu Britanije u svoj algoritam, što bi je održavalo čak i ako bi zakon bio eventualno ukinut.

Softver za prepoznavanje lica koji se koristi zajedno sa nadzornim kamerama pokazao je pristrasnost u prepoznavanju azijskih i crnih lica u odnosu na bela lica.

Tehnički[уреди | уреди извор]

Tehnička pristrasnost se javlja kroz ograničenja programa, računarske snage, njegovog dizajna ili drugih ograničenja sistema.[15] Takva pristrasnost takođe može biti ograničenje dizajna, na primer, pretraživač koji prikazuje tri rezultata po ekranu može se shvatiti da daje prednost prva tri rezultata, kao u prikazu cena avio-kompanije. Drugi slučaj je softver koji se oslanja na slučajnost za pravednu distribuciju rezultata. Ako mehanizam generisanja slučajnih brojeva nije zaista nasumičan, može da uvede pristrasnost.[15]

Dekontekstualizovani algoritam koristi nepovezane informacije za sortiranje rezultata, na primer, algoritam za određivanje cena leta koji sortira rezultate po abecednom redu bio bi pristrasan u korist Amerikan erlajnsa u odnosu na Junajted erlajns.[15] Može se primeniti i suprotno, pri čemu se rezultati vrednuju u različitim kontekstima od kojih su prikupljeni. Podaci se mogu prikupljati bez ključnog spoljnog konteksta: na primer, kada softver za prepoznavanje lica koriste kamere za nadzor, ali ga procenjuje udaljeno osoblje u drugoj zemlji ili regionu, ili procenjuju neljudski algoritmi bez svesti o tome šta se dešava izvan kamere. Ovo bi moglo da stvori nepotpuno razumevanje mesta zločina, na primer, potencijalno pogrešno posmatranje onih koji su počinili zločin.[12]

Najzad, tehnička pristrasnost se može stvoriti pokušajem da se odluke formalizuju u konkretne korake pod pretpostavkom da ljudsko ponašanje funkcioniše na isti način. Na primer, softver odmerava tačke podataka da bi odredio da li optuženi treba da prihvati nagodbu o priznanju krivice, ignorišući uticaj emocija na porotu.[15]

Novonastali[уреди | уреди извор]

Novonastala pristrasnost je rezultat upotrebe i oslanjanja na algoritme u novim ili neočekivanim kontekstima.[15] Algoritmi možda nisu prilagođeni da uzmu u obzir nove oblike znanja, kao što su novi lekovi ili medicinska otkrića, novi zakoni, poslovni modeli ili pomeranje kulturnih normi.[15] Ovo može isključiti grupe kroz tehnologiju, bez davanja jasnih obrisa kako bi se razumelo ko je odgovoran za njihovo isključenje.[13] Slično, problemi se mogu pojaviti prilikom obučavanja podataka nisu usklađeni sa kontekstima sa kojima se algoritam susreće u stvarnom svetu.

Godine 1990, identifikovan je primer brze pristrasnosti u softveru koji je korišćen za smeštanje američkih studenata medicine u rezidenciju, Nacionalni program boračkih odnosa (NRMP).[15] Algoritam je dizajniran u vreme kada bi malo bračnih parova tražilo boravište za boravak. Kako je sve više žena ulazilo u medicinske škole, sve više studenata će verovatno tražiti boravak zajedno sa svojim partnerima. Proces je zahtevao da svaki podnosilac dostavi listu preferencija za plasman širom SAD, koja je zatim sortirana i dodeljena kada su bolnica i aplikant pristali na podudaranje. U slučaju bračnih parova gde su oboje tražili boravište, algoritam je prvo odmerio izbor lokacije partnera sa višim ocenama. Rezultat je bio često dodeljivanje škola sa visokim prioritetom prvom partneru, a škole sa nižim preferencijama drugom partneru, umesto sortiranja radi kompromisa u izboru položaja.[15][35]

Dodatne novonastale predrasude uključuju:

Korelacije[уреди | уреди извор]

Nepredvidive korelacije mogu se pojaviti kada se veliki skupovi podataka uporede jedni sa drugima. Na primer, podaci prikupljeni o obrascima pretraživanja veba mogu biti usklađeni sa signalima koji označavaju osetljive podatke (kao što su rasa ili seksualna orijentacija). Odabirom prema određenom ponašanju ili obrascima pregledanja, krajnji efekat bi bio skoro identičan diskriminaciji korišćenjem direktnih podataka o rasi ili seksualnoj orijentaciji.[19] U drugim slučajevima, algoritam izvodi zaključke na osnovu korelacija, a da ne može da ih izvede. Na primer, jedan program trijaže je dao manji prioritet astmatičarima koji su imali upalu pluća nego astmatičarima koji nisu imali upalu pluća. Programski algoritam je to uradio jer je jednostavno uporedio stope preživljavanja: astmatičari sa upalom pluća su u najvećem riziku. Istorijski gledano, iz istog razloga, bolnice obično takvim astmatičarima pružaju najbolju i najneposredniju negu.[36]

Nepredviđene upotrebe[уреди | уреди извор]

Do pojave pristrasnosti može doći kada nepredviđena publika koristi algoritam. Na primer, mašine mogu zahtevati da korisnici mogu da čitaju, pišu ili razumeju brojeve, ili da se odnose na interfejs koristeći metafore koje ne razumeju.[15] Ova isključenja mogu postati složena, pošto je tehnologija pristrasnosti ili isključivanja dublje integrisana.[26]

Osim isključenja, nepredviđene upotrebe mogu se pojaviti od krajnjeg korisnika koji se oslanja na softver, a ne na sopstveno znanje. U jednom primeru, neočekivana grupa korisnika dovela je do algoritamske pristrasnosti u Velikoj Britaniji nacionalni zakonski program kreiran kao dokaz koncepta od strane kompjuterskih naučnika i imigracionih advokata da bi procenili podobnost za britansko državljanstvo. Dizajneri su imali pristup pravnoj ekspertizi osim krajnjih korisnika u imigracionim kancelarijama, čije bi razumevanje softvera i zakona o imigraciji verovatno bilo nesofisticirano. Agenti koji su postavljali pitanja u potpunosti su se oslanjali na softver, koji je isključio alternativne puteve do državljanstva, i koristili su softver čak i nakon što su nova sudska praksa i pravna tumačenja doveli do toga da algoritam zastari. Kao rezultat dizajniranja algoritma za korisnike za koje se pretpostavlja da su pravno upućeni u zakon o imigraciji, softverski algoritam je indirektno doveo do pristrasnosti u korist kandidata koji odgovaraju veoma uskom skupu pravnih kriterijuma postavljenim algoritmom, a ne širim kriterijumima britanskog imigracionog zakona.[15]

Povratne sprege[уреди | уреди извор]

Brza pristrasnost takođe može da stvori povratnu petlju, ili rekurziju, ako podaci prikupljeni za algoritam rezultiraju odgovorima u stvarnom svetu koji se vraćaju u algoritam.[37][38] Na primer, simulacije prediktivnog policijskog softvera ( PredPol ), raspoređenog u Ouklandu, Kalifornija, sugerisale su povećano prisustvo policije u crnim četvrtima na osnovu podataka o kriminalu koje je objavila javnost.[39] Simulacija je pokazala da je javnost prijavila zločin na osnovu pogleda policijskih automobila, bez obzira šta policija radi. Simulacija je tumačila viđenja policijskih automobila u modeliranju svojih predviđanja zločina, i zauzvrat bi dovela do još većeg povećanja prisustva policije u tim naseljima.[37][40][41] Grupa za analizu podataka o ljudskim pravima, koja je sprovela simulaciju, upozorila je da na mestima gde je rasna diskriminacija faktor hapšenja, takve povratne sprege mogu da ojačaju i produže rasnu diskriminaciju u policiji.[38] Još jedan dobro poznati primer takvog algoritma koji pokazuje takvo ponašanje je COMPAS, softver koji određuje verovatnoću pojedinca da postane počinilac krivičnog dela. Softver se često kritikuje zbog toga što crne pojedince označava kao kriminalce mnogo verovatnije od drugih, a zatim vraća podatke u sebe da pojedinci postanu registrovani kriminalci, dodatno primenjujući pristrasnost koju stvara skup podataka na koji algoritam deluje.

Sistemi preporuka kao što su oni koji se koriste za preporuku onlajn video zapisa ili novinskih članaka mogu stvoriti povratne informacije.[42] Kada korisnici kliknu na sadržaj koji je predložen od strane algoritma, to utiče na sledeći skup predloga.[43] Vremenom to može dovesti do toga da korisnici uđu u oblačić filtera i ne budu svesni važnog ili korisnog sadržaja.[44][45]

Uticaji[уреди | уреди извор]

Komercijalni uticaji[уреди | уреди извор]

Korporativni algoritmi mogu biti prilagođeni tako da neopažano se fokusiraju na finansijske aranžmane ili sporazume između kompanija, bez znanja korisnika koji bi mogao pogrešno da algoritam smatra nepristrasnim. Amerikan Erlajns je stvorio algoritam za pronalaženje letova 1980-ih. Softver je klijentima prikazivao niz letova različitih aviokompanija, ali je posmatrao faktore koji su podstakli njegove letove, bez obzira na cenu ili pogodnost. Prisustvujući Kongresu Sjedinjenih Država, predsednik avio-kompanije je izjavio da je sistem stvoren sa namerom da se stekne konkurentska prednost putem preferencijalnog postupka.[46][15]

U artiklu iz 1998. koji opisuje Gugl, osnivači kompanije su usvojili politiku transparentnosti u rezultatima pretrage u vezi sa plaćenim plasmanom, tvrdeći da će „pretraživači koji se finansiraju reklamama biti pristrasni prema oglašivačima i neprilagođeni potrebama potrošača”. Ova pristrasnost bi bila skrivena manipulacija korisnika.[46]

Glasačko ponašanje[уреди | уреди извор]

Grupa povezanih studija o neodlučnim biračima u SAD-u i Indiji otkrila je da su rezultati pretraživača mogli da promene rezultate glasanja za oko 20%. Istraživači su zaključili da kandidati nemaju nameru da se takmiče ako je algoritam, namerno ili nenamerno, povećao broj birača za konkurentskog kandidata.[47] Korisnici Fejsbuka koji su videli poruke vezane za glasanje češće su glasali. Nasumično ispitivanje korisnika Fejsbuka iz 2010.[48] godine pokazalo je uvećanje za čak 20% (340.000 glasova) među korisnicima koji su videli poruke koje podstiču na glasanje, kao i slike svojih prijatelja koji su glasali. Pravnik Džonatan Zitrejn upozorio je da bi ovo moglo da na izborima stvori efekat poznat pod nazivom digital gerrymandering, manipulacija informacijama i njena selektivna prezentacija od strane posrednika kako bi ispunio svoje sopstvene potrebe, radije nego zadovoljavanje potreba korisnika, ako je manipulacija namerna.

Rodna diskriminacija[уреди | уреди извор]

Tokom 2016 godine, otkriveno je da internet sajt LinkedIn preporučuje muške varijacije ženskih imena kao odgovor na korisnikovu pretragu. Sajt nije pravio slične preporuke u pretragama muških imena. Na primer, na pretragu imena „Andrea” bi izlazili predlozi ako su korisnici mislili na ime „Andrew” ali u obrnutom slučaju kada bi korisnici pretražili ime „Andrew” ne bi im se predlagalo da li su mislili na ime „Andrea”. Kompanija je odgovorila da je to rezultat analize interakcija korisnika sa sajtom.[49]

Tokom 2012. godine, robna kuća Target bila je prepoznata po tome što prikuplja podatke koji ukazuju na to kada su žene potrošači trudne, iako nisu to naglašavale, zatim su delili te informacije sa marketinškim partnerima.[50] Zato što su informacije bile pretpostavka, pre nego direktno nagoveštene ili prijavljene, kompanija nije imala legalnu obavezu da zaštiti privatnost mušterija.[51]

Algoritmi veb pretrage su takođe optuženi za pristrasnost. Gugl rezultati daju prioritet pornografskom sadržaju u terminima pretrage koji se odnose na seksualnost, na primer, „lezbejka”. Ova pristrasnost se primenjuje i na pretraživač koji prikazuje popularan, ali seksualizovan sadržaj u neutralnim pretragama. Na primer, članak „25 najseksipilnijih sportistkinja” prikazan je kao prvi rezultat u pretragama za žene sportistkinje. [52] 2017. Gugl je prilagodio ove rezultate zajedno sa ostalima koji su prikazivali mržnju, rasističke stavove, zlostavljanje dece i pornografiju, i drugi uznemirujuće i uvredljive sadržaje.[53] Drugi primeri uključuju prikazivanje više plaćenih poslova za muške kandidate na veb stranicama za traženje posla.[54] Istraživači su takođe identifikovali da mašinsko prevođenje pokazuje snažnu tendenciju prema muškim poslovima.[55] Ovo se posebno primećuje u oblastima povezanim sa neuravnoteženom distribucijom polova, uključujući MINT zanimanja.[56]

Tokom 2015. godine, Amazon je isključio sistem veštačke inteligencije koji je razvio za aplikaciju prijava za posao kada su shvatili da je razvijen protiv žena.[57] Aplikacija za zapošljavanje je isključivala korisnike koji su u svojoj biografiji koristili reči „žena“, ili su pohađali ženske koledže.[58] Takođe je 2019. otkriveno da se sličan problem dešavao i na aplikacijama za muziku, npr. Spotify i da se dešavala diskriminacija žena umetnica.[59]

Rasna i etnička diskriminacija[уреди | уреди извор]

Algoritmi su kritikovani kao metod za prikrivanje rasnih predrasuda u donošenju odluka.[60][61][62] Zbog načina na koji su određene rase i etničke grupe tretirane u prošlosti, podaci često mogu sadržati skrivene predrasude.[63] Na primer, crnci će verovatno dobiti duže kazne od belaca za iste zločine, što bi potencijalno moglo da znači da sistem pojačava prvobitne pristrasnosti u podacima.[64][65]

Gugl se 2015. godine izvinio kada su se pripadnici tamne rase žalili da ih je algoritam za identifikaciju slika identifikovao kao gorile.[66] U 2010. godini Nikon fotoaparati su kritikovani kada su algoritmi za prepoznavanje slika stalno pitali azijske korisnike da li trepću.[67] Takvi primeri su proizvod pristrasnosti u biometrijskim bazama podataka. Biometrijski podaci se izvlače iz koncepta tela, uključujući rasne karakteristike koje se posmatraju ili pretpostavljaju, koje se zatim mogu uneti kao podaci.[62] Tehnologija prepoznavanja govora može imati različite tačnosti u zavisnosti od akcenta korisnika.[68]

Biometrijski podaci o rasi se takođe mogu zaključiti, a ne posmatrati. Na primer, studija iz 2012. godine pokazala je da je veća verovatnoća da će imena koja se obično povezuju sa crncima dati rezultate pretrage koji impliciraju na evidenciju o hapšenju, bez obzira na to da li postoji dosije na imene te osobe.[69]

U 2019. godini, jedna studija je otkrila da je zdravstveni algoritam, koji prodaje Optum, favorizovao pripadnike bele rase u odnosu na bolesnije pripadnike crne rase. Ovaj algoritam predviđa koliko će pacijenta koštati zdravstveno osiguranje u budućnosti. Međutim, trošak nije rasno neutralan, jer su pripadnici crne rase imali oko 1.800 dolara manje medicinskih troškova godišnje od pripadnika bele rase sa istim brojem hroničnih oboljenja, što je dovelo do toga da algoritam procenjuje da su pripadnici bele rase podjednako u riziku od budućih zdravstvenih problema kao i pripadnici crne rase koji su bolovali od znatno više bolesti.[70]

Studija koju su sproveli istraživači iz Univerziteta u Kaliforniji, Berkli u novembru 2019. godine otkrila je da su algoritmi za hipoteke diskriminatorni prema Latinoamerikancima i Afroamerikancima. Algoritmi su diskriminisali manjine na osnovu kreditne sposobnosti koja je ukorenjena u američkom zakonu o poštenom kreditiranju, koji dozvoljava zajmodavcima da koriste mere identifikacije da bi se utvrdilo da li je pojedinac dostojan primanja kredita. Ovi konkretni algoritmi bili su prisutni u FinTech kompanijama i pokazalo se da diskriminišu manjine.[71]

Govor mržnje na mrežama[уреди | уреди извор]

U 2017. ustanovljeno je da je Facebook algoritam dizajniran da ukloni govor mržnje na mreži, ali da daje prednost muškarcima bele rase u odnosu na decu koja pripadaju crnoj rasi, kada procenjuje neprihvatljiv sadržaj, prema internim Facebook dokumentima. Algoritam, koji je kombinacija kompjuterskih programa i grupe ljudi koji prate i pregledaju sadržaj na mreži, kreiran je da zaštiti široke kategorije, a ne specifične podskupove kategorija. Na primer, postovi koji osuđuju muslimane bili bi blokirani, dok bi postovi koji osuđuju radikalne muslimane bili dozvoljeni.[72]

Takođe je utvrđeno da Facebook dozvoljava kupcima oglasa da ciljaju „mrzitelje Jevreja” kao kategoriju korisnika, što je kompanija rekla da je nenameran rezultat algoritama koji se koriste u proceni i kategorizaciji podataka. Dizajn algoritma kompanije je takođe omogućio kupcima oglasa da blokiraju Afroamerikance da vide oglase za stanovanje.[73]

Dok se algoritmi koriste za praćenje i blokiranje govora mržnje, za neke je utvrđeno da je 1,5 puta veća verovatnoća da će označiti informacije koje su objavili pripadnici crne rase i 2,2 puta verovatno da će označiti informacije kao govor mržnje ako su napisane na afroameričkom engleskom. Bez konteksta za uvrede i epitete, čak i kada su ih koristile zajednice koje su ih ponovo prisvojile, bili su označeni.[74]

Nadzor[уреди | уреди извор]

Softver za nadzorne kamere može se smatrati inherentno političkim, jer zahteva algoritme za razlikovanje normalnog od abnormalnog ponašanja i za određivanje ko pripada određenim lokacijama u određeno vreme. Pokazalo se da je sposobnost takvih algoritama da prepoznaju lica širom rasnog spektra ograničena rasnom raznolikošću slika u bazi podataka za obuku; ako većina fotografija pripada jednoj rasi ili polu, softver je bolji u prepoznavanju drugih pripadnika te rase ili pola.[75]

Međutim, čak i revizije ovih sistema za prepoznavanje slika su etički ispunjene, a neki naučnici sugerišu da će kontekst tehnologije uvek imati nesrazmeran uticaj na zajednice čije su akcije previše nadgledane. Na primer, analiza softvera iz 2002. korišćenog za identifikaciju pojedinaca na nadzornim kamerama pronašla je nekoliko primera pristrasnosti kada se koristi protiv kriminalnih baza podataka.[76] Ocenjeno je da softver identifikuje muškarce češće nego žene, starije ljude češće od mladih i identifikuje Azijate, Afroamerikance i druge rase češće od belaca. Dodatne studije softvera za prepoznavanje lica otkrile su suprotnost kada se obučavaju na bazama podataka bez kriminala, pri čemu je softver najmanje tačan u identifikaciji tamnoputih žena.[77]

Diskriminacija nad LQBTQ zajednicom[уреди | уреди извор]

U 2011. godini korisnici aplikacije Grindr koja je namenjena homoseksualcima, prijavila je da Android prodavnica imala algoritam koji povezuje Grindr sa aplikacijama dizajniranim da pronađe seksualne prestupnike, za koje kritičari kažu da je povezivala homoseksualnost sa pedofilijom.[78]

U 2019. godini otkriveno je da na Fejsbuku pretraga „moji ženski prijatelji” prikazivao predloge kao što su „u bikiniju” ili „na plaži”, a sa druge strane, pretraga „moji muški prijatelji“, nije predlagala takve rezultate.[79]

Uočeno je da tehnologija prepoznavanja lica izaziva probleme transrodnim osobama. U 2018. bilo je izveštaja da su taksisti koji su bili transrodni imali poteškoća sa softverom za prepoznavanje lica koji Uber primenjuje kao ugrađenu bezbednosnu meru. Kao rezultat toga, neki od naloga trans Uber vozača su suspendovani, što ih je koštalo karata i potencijalno posla, a sve zbog toga što je softver za prepoznavanje lica imao poteškoća sa prepoznavanjem lica trans vozača. Iako bi se činilo da rešenje za ovo pitanje podrazumeva uključivanje trans osoba u setove za obuku za modele mašinskog učenja, primer trans video snimaka koji su prikupljeni da bi se koristili u podacima o obuci nije dobio saglasnost od trans osoba koje su uključene u video snimke, što je stvorilo pitanje kršenja privatnosti.[80]

Postojala je i studija koja je sprovedena na Univerzitetu Stanford 2017. godine koja je testirala algoritme u sistemu mašinskog učenja za koji je rečeno da može da otkrije seksualnu orijentaciju pojedinca na osnovu njihovih slika lica. Model u studiji je predvideo tačnu razliku između gej i strejt muškaraca u 81% vremena i ispravnu razliku između gej i strejt žena u 74% vremena. Ova studija je dovela do reakcije LGBTQ zajednice, koja se plašila mogućih negativnih posledica koje bi ovaj sistem veštačke inteligencije mogao da ima na te pojedince dovodeći ih u opasnost da budu „izbačeni” protiv svoje volje.[81]

Imajući u vidu stereotipe koji još uvek postoje u vezi sa invaliditetom, osetljiva priroda otkrivanja ovih karakteristika takođe nosi ogromne izazove u vezi sa privatnošću. Pošto otkrivanje informacija o invalidnosti može biti tabu i dovesti do dalje diskriminacije ove populacije, postoji nedostatak eksplicitnih podataka o invaliditetu koji su dostupni za algoritamski sistem za interakciju. Osobe sa invaliditetom se suočavaju sa dodatnim štetama i rizicima u vezi sa svojom socijalnom podrškom, troškovima zdravstvenog osiguranja, diskriminacijom na radnom mestu i drugim osnovnim potrebama nakon otkrivanja statusa invaliditeta. Algoritmi dodatno pogoršavaju ovaj jaz tako što ponovo stvaraju predrasude koje već postoje u društvenim sistemima i strukturama.[82]

Diskriminacija nad ljudima sa invaliditetom[уреди | уреди извор]

Dok su primeri algoritamske pravičnosti ocenjeni na osnovu različitih aspekata pristrasnosti – kao što su pol, rasa i socio-ekonomski status, invaliditet je često izostavljen sa liste.[83][84] Marginalizacija sa kojom se osobe sa invaliditetom trenutno suočavaju u društvu se prevodi u sisteme i algoritme veštačke inteligencije, stvarajući još veću isključenost.[85]

Promenljiva priroda invaliditeta i njegova subjektivna karakterizacija otežava kompjuterski pristup. Nedostatak istorijske dubine u definisanju invaliditeta, prikupljanju njegove incidencije i prevalencije u upitnicima doprinosi dvosmislenosti u njegovoj kvantifikaciji i proračunima.[86] O definiciji invaliditeta se dugo raspravljalo o prelasku sa medicinskog modela na društveni model invaliditeta, koji utvrđuje da je invaliditet rezultat neusklađenosti međuljudskih interakcija i barijera u njihovom okruženju, a ne oštećenja i zdravstvenih stanja.[87]

Invalidnost takođe može biti situaciona ili privremena, smatrana u stalnom stanju. Invaliditeti su neverovatno raznoliki, spadaju u širok spektar i mogu biti jedinstveni za svakog pojedinca. Identitet ljudi može varirati u zavisnosti od specifičnih vrsta invaliditeta koje imaju i načina na koji koriste pomoćne tehnologije. Visok nivo varijabilnosti u iskustvima ljudi u velikoj meri personalizuje način na koji se invaliditet može manifestovati.[88][89]

Prepreke istraživanju[уреди | уреди извор]

Postoji nekoliko problema koji ometaju proučavanje algoritamske pristrasnosti na velikoj skali, što otežava primenu akademski rigoroznih istraživanja i javnog razumevanja.[11]

Definisanje poštenosti[уреди | уреди извор]

Literatura o algoritamskoj pristrasnosti se fokusira na postizanje poštenosti, ali definicije poštenosti često nisu kompatibilne jedna s drugom i stvarnostima optimizacije mašinskog učenja. Na primer, definisanje poštenosti kao jednakosti ishoda može se jednostavno odnositi na sistem koji proizvodi isti rezultat za sve ljude, dok se poštenost definisana kao jednakost tretmana može eksplicitno uzimati u obzir razlike između pojedinaca.[90] Kao rezultat, pravednost se ponekad opisuje kao u konfliktu sa tačnošću modela, što ukazuje na urođene napetosti između prioriteta društvene dobrobiti i prioriteta dobavljača koji dizajniraju ove sisteme.[91] Kao odgovor na ovu napetost, istraživači su predložili veću pažnju u dizajnu i korišćenju sistema koji se oslanjaju na potencijalno pristrasne algoritme, pri čemu se pravednost definiše za specifične primene i kontekste.[92]

Kompleksnost[уреди | уреди извор]

Algoritamski procesi su kompleksni, često prevazilazeći razumevanje ljudi koji ih koriste.[11][46] Operacije velikog obima mogu biti nerazumljive čak i za one koji su uključeni u njihovo stvaranje.[93] Metode i procesi savremenih programa često su zasenjeni nemogućnošću poznavanja svake permutacije ulaza ili izlaza koda.[94] Društveni naučnik Bruno Latur identifikovao je ovaj proces kao „crnu kutiju”, proces u kojem „naučni i tehnički rad postaje nevidljiv zbog sopstvenog uspeha. Kada mašina efikasno radi, kada se nešto smatra činjenicom, fokus se usmerava samo na ulaze i izlaze, a ne na njenu internu složenost.” Tako paradoksalno, što više nauka i tehnologija napreduju i postižu uspeh, to postaju sve više neprozirni i nejasni.[95] Drugi su kritikovali metaforu crne kutije, sugerišući da trenutni algoritmi nisu jedna crna kutija, već mreža međusobno povezanih kutija.[96]

Primer ove kompleksnosti može se naći u rasponu ulaza u prilagođavanju povratnih informacija. Društvena mreža Facebook je 2013. godine koristila najmanje 100.000 tačaka podataka za određivanje rasporeda objava u korisnikovoj društvenoj mreži.[97] Osim toga, veliki timovi programera mogu raditi u relativnoj izolaciji jedni od drugih i biti nesvesni kumulativnih efekata malih odluka unutar povezanih i složenih algoritama.[94] Sav kod nije originalan, već se može pozajmiti iz drugih biblioteka, što stvara složen skup odnosa između sistema obrade podataka i sistema ulaznih podataka.[4]

Dodatna složenost nastaje kroz mašinsko učenje i personalizaciju algoritama na osnovu interakcija korisnika kao što su klikovi, vreme provedeno na sajtu i drugi metrički podaci. Ova personalizovana prilagođavanja mogu otežati pokušaje razumevanja algoritama.[98] Jedna neidentifikovana striming radio usluga prijavila je da koristi pet jedinstvenih algoritama za odabir muzike koje je odabrala za svoje korisnike, zasnovanih na njihovom ponašanju. Ovo stvara različita iskustva istih striming usluga za različite korisnike, što otežava razumevanje funkcije ovih algoritama. Kompanije takođe često sprovode A/B testove kako bi usavršavale algoritme na osnovu odziva korisnika. Na primer, pretraživač Bing može pokrenuti do deset miliona suptilnih varijacija svoje usluge dnevno, stvarajući različita iskustva usluge za svaku upotrebu korisnika.

Nedostatak transparentnosti[уреди | уреди извор]

Komercijalni algoritmi su vlasništvo kompanija i mogu biti tretirani kao poslovna tajna.[11][94] Tretiranje algoritama kao poslovne tajne štiti kompanije, poput pretraživača, gde transparentan algoritam može otkriti taktike manipulacije rangiranja pretrage.[98] To čini teškim za istraživače da sprovode analize kako bi otkrili kako algoritmi funkcionišu.[4] Kritičari sugerišu da takva tajnost takođe može zamagliti moguće neetičke metode korišćene u proizvodnji ili obradi algoritamskog izlaza.[98] Drugi kritičari sugerišu da nedostatak transparentnosti često predstavlja rezultat algoritamske složenosti, štiteći kompanije od otkrivanja ili istraživanja sopstvenih algoritamskih procesa.

Nedostatak podataka o osetljivim kategorijama[уреди | уреди извор]

Značajna prepreka borbi protiv pristrasnosti u praksi je to što osetljive kategorije, poput demografije pojedinaca zaštićenih antidiskriminacionim zakonima, često nisu eksplicitno uzete u obzir prilikom prikupljanja i obrade podataka.[99] U nekim slučajevima, ne postoji mnogo prilika za eksplicitno prikupljanje ovih podataka, kao što je u slučaju praćenja digitalnih otisaka, sveprisutnog računarstva i internet stvari. U drugim slučajevima, upravljač podataka možda ne želi da prikupi takve podatke iz reputacionih razloga, ili zato što to predstavlja povećan rizik od odgovornosti i sigurnosti. Takođe može biti slučaj da ovi podaci, barem u vezi sa Opštom uredbom o zaštiti podataka Evropske unije, spadaju pod odredbe specijalne kategorije (član 9), te stoga dolaze sa više ograničenja u pogledu potencijalnog prikupljanja i obrade.

Neki su pokušali da procene i nadomeste nedostajuće osetljive kategorije kako bi omogućili smanjenje pristrasnosti, na primer izgradnjom sistema za zaključivanje o etničkoj pripadnosti na osnovu imena,[100] međutim, to može da uvede druge oblike pristrasnosti ako se ne preduzme sa pažnjom.[101] Istraživači mašinskog učenja su se oslonili na kriptografske tehnologije za unapređenje privatnosti, poput sigurnog višestraničkog računanja, kako bi predložili metode kojima se može proceniti ili ublažiti algoritamska pristrasnost, a da ovi podaci nikada ne budu dostupni u čitljivom formatu.[102]

Algoritamska pristrasnost ne obuhvata samo zaštićene kategorije, već može se odnositi i na karakteristike koje su teže uočljive, poput političkih stavova. U ovim slučajevima, retko postoji lako dostupna ili nepolitički sporna istinska vrednost, a uklanjanje pristrasnosti iz takvog sistema je teže.[103] Takođe, lažne i slučajne korelacije mogu nastati usled nedostatka razumevanja zaštićenih kategorija, na primer, tarife osiguranja zasnovane na istorijskim podacima o saobraćajnim nesrećama koje se mogu preklapati, isključivo slučajno, sa stambenim naseljima etničkih manjina.[104]

Rešenja[уреди | уреди извор]

Studija koja je obuhvatila 84 smernice politike o etičkoj veštačkoj inteligenciji otkrila je da su pravednost i umanjivanje neželjene pristrasnosti bili zajednički problem koji je rešavan kombinacijom tehničkih rešenja, transparentnosti i nadzora, prava na ispravku i povećanog nadzora, kao i napora na raznolikosti i inkluziji.[105]

Tehnička[уреди | уреди извор]

Postojalo je nekoliko pokušaja da se kreiraju metode i alati koji mogu da otkriju i posmatraju pristrasnost unutar algoritma. Ova nova polja se fokusiraju na alate koji se obično primenjuju na (trening) podacima koje program koristi, a ne na internoj obradi algoritma. Ove metode takođe mogu analizirati izlaz programa i njegovu korisnost, pa stoga mogu uključivati analizu matrice konfuzije (ili tabele konfuzije).[106][107][108] Objašnjiva veštačka inteligencija (XAI) za otkrivanje pristrasnosti algoritma je predloženi način za otkrivanje postojanja pristrasnosti u algoritmu ili modelu mašinskog učenja.[109] Upotreba mašinskog učenja za otkrivanje pristrasnosti naziva se sprovođenje revizije veštačke inteligencije, gde revizor predstavlja algoritam koji prolazi kroz model veštačke inteligencije i trening podatke kako bi identifikovao pristrasnosti.[110] Osiguravanje da alat veštačke inteligencije poput klasifikatora bude slobodan od pristrasnosti je teže od samog uklanjanja osetljivih informacija iz ulaznih signala, jer su ove informacije obično implicitne u drugim signalima. Na primer, hobiji, sportovi i škole koje je posetio kandidat za posao mogu otkriti njegov pol softveru, čak i kada je pol uklonjen iz analize. Rešenja za ovaj problem uključuju osiguravanje da nema nikakve informacije koje bi mogle biti korišćene za rekonstrukciju zaštićenih i osetljivih informacija o subjektu, kao što je prvi put prikazano [111] gde je duboka neuronska mreža istovremeno obučavana za izvršavanje zadatka i potpuno nezainteresovana za zaštićenu karakteristiku. Jednostavnija metoda je predložena u kontekstu vektora ugnežđavanja reči i podrazumeva uklanjanje informacija koje su korelirane sa zaštićenom karakteristikom.[112]

Trenutno se priprema novi IEEE standard koji ima za cilj da definiše metodologije koje će pomoći kreatorima algoritama da eliminišu probleme pristrasnosti i da jasno izraze transparentnost (odnosno prema vlastima ili krajnjim korisnicima) u vezi sa funkcijom i mogućim efektima njihovih algoritama.

Transparentnost i nadzor[уреди | уреди извор]

Smernice za etiku u vezi sa veštačkom inteligencijom ukazuju na potrebu za odgovornošću, preporučujući da se preduzmu koraci za poboljšanje razumevanja rezultata.[113] Takva rešenja uključuju razmatranje prava na razumevanje u algoritmima mašinskog učenja, kao i otpor protiv primene mašinskog učenja u situacijama u kojima odluke ne bi mogle biti objašnjene ili pregledane.[114] U tu svrhu, već je u toku pokret za „Objašnjivu veštačku inteligenciju” (XAI) unutar organizacija poput DARPA-e, iz razloga koji prevazilaze samo ispravljanje pristrasnosti.[115] Na primer, PwC takođe predlaže da nadgledanje izlaza znači dizajniranje sistema na način da se osigura izolacija i isključivanje pojedinačnih komponenti sistema ukoliko utiču na rezultate.[116]

Jedan početni pristup transparentnosti uključuje otkrivanje koda algoritama.[117] Softverski kod može biti pregledan, a mogu se predložiti i poboljšanja putem platformi za hostovanje izvornog koda. Međutim, ovaj pristup ne mora nužno da proizvodi željene efekte. Kompanije i organizacije mogu deliti sve moguće dokumentacije i kod, ali to ne uspostavlja transparentnost ukoliko publika ne razume pružene informacije. Stoga, uloga zainteresovane kritičke publike je vredna istraživanja u vezi sa transparentnošću. Algoritmi ne mogu biti odgovorni bez kritičke publike koja ih prati.[118]

Pravo na pravni lek[уреди | уреди извор]

Sa regulatorne perspektive, Torontska deklaracija poziva na primenu okvira ljudskih prava na štetu uzrokovanu algoritamskom pristrasnošću.[119] To podrazumeva zakonsko regulisanje očekivanja odgovarajuće pažnje s strane dizajnera ovih algoritama, kao i uspostavljanje odgovornosti kada privatni akteri ne uspeju da zaštite javni interes. Napominje se da takva prava mogu biti zamagljena kompleksnošću određivanja odgovornosti u mreži složenih i isprepletanih procesa. Drugi predlažu potrebu za jasnim mehanizmima osiguranja odgovornosti.[120]

Raznovrsnost i inkluzija[уреди | уреди извор]

Uz zabrinutost da je dizajn sistema veštačke inteligencije uglavnom u domenu belih, muških inženjera,[121] nekoliko naučnika je sugerisalo da bi se algoritamski pristrasnost mogla smanjiti proširenjem uključenosti u redovima onih koji dizajniraju AI sisteme.[114][105] Na primer, samo 12% inženjera mašinskog učenja su žene,[122] sa crnim liderima ove oblasti koji ukazuju na krizu raznolikosti u polju.[123] Grupe poput Black in AI pokušavaju da stvore više inkluzivnih prostora u zajednici veštačke inteligencije i rade protiv često štetnih želja korporacija koje kontrolišu putanje istraživanja veštačke inteligencije.[124] Kritike jednostavnih napora uključenosti sugerišu da programi raznolikosti ne mogu adresirati preklapajuće forme nejednakosti i pozvali su na primenu cilja intersekcionalnosti u dizajnu algoritama.[125][126]

Interdisciplinarnost i saradnja[уреди | уреди извор]

Integrisanje interdisciplinarnosti i saradnje u razvoju sistema veštačke inteligencije može igrati ključnu ulogu u rešavanju algoritamske pristrasnosti. Uključivanje saznanja, stručnosti i perspektiva iz oblasti izvan računarskih nauka može unaprediti razumevanje uticaja rešenja zasnovanih na podacima, na društvo. Primer ovoga u istraživanju inteligencije je PACT ili Participativni pristup za omogućavanje sposobnosti u zajednicama, predloženi okvir za olakšavanje saradnje pri razvoju rešenja zasnovanih na veštačkoj inteligenciji koja se bave društvenim uticajem.[127] Ovaj okvir identifikuje vodeće principe za učešće zainteresovanih strana prilikom rada na projektima veštačke inteligencije za dobrobit društva (AI4SG). Akademska inicijativa u vezi sa tim je Institut za veštačku inteligenciju usmerenu na čoveka na Stanford univerzitetu, koji ima za cilj podsticanje multidisciplinarne saradnje. Misija instituta je unapređivanje istraživanja, obrazovanja, politike i prakse veštačke inteligencije kako bi se poboljšali ljudski životni uslovi.[128]

Saradnja sa stranim stručnjacima i različitim zainteresovanim stranama olakšava etički, inkluzivan i odgovoran razvoj inteligentnih sistema. Ona uključuje etička razmatranja, razumevanje socijalnog i kulturnog konteksta, promovisanje dizajna usmerenog na čoveka, iskorišćavanje tehničke ekspertize i bavljenje političkim i pravnim pitanjima.[129] Saradnja preko disciplina je ključna za efikasno ublažavanje pristrasnosti u sistemima veštačke inteligencije i osiguranje da su ove tehnologije fer, transparentne i odgovorne.

Regulacija[уреди | уреди извор]

Evropa[уреди | уреди извор]

Opšta uredba o zaštiti podataka (GDPR), korigovani režim za zaštitu podataka Evropske unije koji je stupio na snagu 2018. godine, obrađuje „Automatizovano donošenje odluka pojedinaca, uključujući profilisanje” u članku 22. Ovi propisi zabranjuju „isključivo” automatizovane odluke koje imaju značajan ili pravni efekat na pojedinca, osim ako su izričito autorizovane saglasnošću, ugovorom ili zakonom države članice. Gde su dozvoljene, moraju postojati zaštitne mere, kao što je pravo na uključivanje ljudskog faktora u proces donošenja odluka, kao i neobavezujuće pravo na objašnjenje odluka koje su donete. Iako se ovi propisi obično smatraju novim, gotovo identične odredbe postoje u celoj Evropi još od 1995. godine, u članku 15 Direktive o zaštiti podataka. Izvorni propisi o automatskim odlukama i zaštitama u francuskom zakonu nalaze se od kraja sedamdesetih godina.[130]

GDPR govori o algoritamskoj pristrasnosti u profilnim sistemima, kao i o statističkim pristupima za njeno otklanjanje, direktno u odlomku 71, napominjući da:

kontrolor treba da koristi odgovarajuće matematičke ili statističke procedure za profilisanje, primenjuje tehničke i organizacione mere koje su adekvatne ... a koje sprečavaju, između ostalog, diskriminatorske efekte prema fizičkim licima na osnovu rase ili etničkog porekla, političkog mišljenja, religije ili verovanja, članstva u sindikatu, genetskog ili zdravstvenog stanja ili seksualne orijentacije, ili koje rezultiraju merama koje imaju takav efekat.

Kao što je i neobavezujuće pravo na objašnjenje u odlomku 71, problem je neobavezujući karakter odlomaka.[131] Iako je tretirano kao zahtev od strane Radne grupe člana 29 koja je savetovala o sprovođenju zakona o zaštiti podataka,[130] praktične dimenzije tog zahteva su nejasne. Predloženo je da procene uticaja zaštite podataka za profilisanje podataka visokog rizika (uz druge preventivne mere u okviru zaštite podataka) mogu biti bolji način za rešavanje problema algoritamske diskriminacije, jer ograničava radnje onih koji primenjuju algoritme, umesto da zahteva od potrošača da podnose pritužbe ili traže promene.[132]

Sjedinjene Američke Države[уреди | уреди извор]

Sjedinjene Američke Države nemaju opštu zakonsku regulativu koja kontroliše algoritamsku pristrasnost, pristupajući problemu kroz različite državne i federalne zakone koji se mogu razlikovati po industriji, sektoru i načinu na koji se algoritam koristi. Mnoge politike se samoregulišu ili ih kontroliše Federalna trgovinska komisija.[133] U 2016. godini, Obamina administracija je objavila Nacionalni plan strategije istraživanja i razvoja veštačke inteligencije,[134]koji je trebao da usmeri donosioce odluka prema kritičkoj proceni algoritama. Preporučeno je istraživačima da „dizajniraju ove sisteme tako da njihove akcije i donošenje odluka budu transparentni i lako interpretirani od strane ljudi, kako bi se mogli ispitivati na eventualnu pristrasnost koju mogu sadržati”. Izveštaj, iako samo kao smernica, nije stvorio pravni presedan.

U 2017. godini, grad Njujork je usvojio prvi zakon o odgovornosti algoritama u Sjedinjenim Američkim Državama.[135] Navedeni zakon, koji je stupio na snagu 1. januara 2018. godine, zahtevao je „formiranje radne grupe koja pruža preporuke o načinu deljenja informacija o automatizovanim odlučivačkim sistemima agencija, sa javnošću, kao i o načinu kojim agencije mogu reagovati u slučajevima kada ljudi pretrpe štetu od automatizovanih odlučivačkih sistema agencija”.[136]

Indija[уреди | уреди извор]

Dana 31. jula 2018. godine, predstavljen je nacrt Zakona o ličnim podacima.[137] Nacrt zakona predlaže standarde za skladištenje, obradu i prenos podataka. Iako ne koristi termin algoritam, predviđa odredbe za „štetu nastalu usled bilo koje obrade ili bilo koje vrste obrade koju vrši poverenik”. Definiše „svako odbijanje ili povlačenje usluge, pogodnosti ili dobra koje proizlazi iz evaluativne odluke o subjektu podataka” ili „bilo koju diskriminatorsku obradu” kao izvor štete koji može proizaći iz nepravilne upotrebe podataka. Takođe, donosi posebne odredbe za osobe sa interseks statusom.[138]

Reference[уреди | уреди извор]

  1. ^ Jacobi, Jennifer (26. 9. 2006). „Patent #US7113917B2”. Espacenet. Приступљено 26. 4. 2023. 
  2. ^ Striphas, Ted (1. 2. 2012). „What is an Algorithm?”. Culture Digitally. Приступљено 27. 4. 2023. 
  3. ^ Cormen, Thomas H.; Leiserson, Charles E.; Rivest, Ronald L.; Stein, Clifford (2009). Introduction to AlgorithmsСлободан приступ ограничен дужином пробне верзије, иначе неопходна претплата (3. изд.). Cambridge, Mass.: MIT Press. стр. 13. ISBN 978-0-262-03384-8. 
  4. ^ а б в Kitchin, Rob (25. 2. 2016). „Thinking critically about and researching algorithms” (PDF). Information, Communication & Society. 20 (1): 14—29. doi:10.1080/1369118X.2016.1154087. 
  5. ^ „How Google Search Works”. Приступљено 27. 4. 2023. 
  6. ^ Luckerson, Victor (9. 7. 2015). „Here's How Your Facebook News Feed Actually Works”. Time. Приступљено 27. 4. 2023. 
  7. ^ Vanderbilt, Tom (7. 8. 2013). „The Science Behind the Netflix Algorithms That Decide What You'll Watch Next”. Wired. Приступљено 27. 4. 2023. 
  8. ^ Angwin, Julia (20. 9. 2016). „Amazon Says It Puts Customers First. But Its Pricing Algorithm Doesn't”. ProPublica. Приступљено 27. 4. 2023. 
  9. ^ Livingstone, Rob (13. 3. 2017). „The future of online advertising is big data and algorithms”. The Conversation. Приступљено 27. 4. 2023. 
  10. ^ Hickman, Leo (1. 6. 2013). „How algorithms rule the world”. The Guardian. Приступљено 27. 4. 2023. 
  11. ^ а б в г DigitalSTS : a field guide for science & technology studies. Janet Vertesi, David Ribes. Princeton, New Jersey. 2019. стр. 412—420. ISBN 978-0-691-18708-2. OCLC 1051133976. 
  12. ^ а б Graham, Stephen D.N. (јул 2016). „Software-sorted geographies” (PDF). Progress in Human Geography (Submitted manuscript). 29 (5): 562—580. doi:10.1191/0309132505ph568oa. 
  13. ^ а б в Tewell, Eamon (4. 4. 2016). „Toward the Resistant Reading of Information: Google, Resistant Spectatorship, and Critical Information Literacy”. Portal: Libraries and the Academy. 16 (2): 289—310. ISSN 1530-7131. doi:10.1353/pla.2016.0017. Приступљено 27. 4. 2023. 
  14. ^ Crawford, Kate (1. 4. 2013). „The Hidden Biases in Big Data”. Harvard Business Review. 
  15. ^ а б в г д ђ е ж з и ј к л љ Friedman, Batya; Nissenbaum, Helen (јул 1996). „Bias in Computer Systems” (PDF). ACM Transactions on Information Systems. 14 (3): 330—347. doi:10.1145/230538.230561. Приступљено 27. 4. 2023. 
  16. ^ а б в г д Gillespie, Tarleton; Boczkowski, Pablo; Foot, Kristin (2014). Media Technologies. Cambridge, Mass.: MIT Press. стр. 1—30. ISBN 9780262525374. 
  17. ^ а б Diakopoulos, Nicholas (2014). „Algorithmic Accountability Reporting: On the Investigation of Black Boxes” (на језику: енглески). doi:10.7916/D8ZK5TW2. 
  18. ^ Lipartito, Kenneth (2011-01-06). „The Narrative and the Algorithm: Genres of Credit Reporting from the Nineteenth Century to Today” (на језику: енглески). Rochester, NY. doi:10.2139/ssrn.1736283. 
  19. ^ а б Goodman, Bryce; Flaxman, Seth (2017-10-02). „European Union Regulations on Algorithmic Decision-Making and a “Right to Explanation””. AI Magazine (на језику: енглески). 38 (3): 50—57. ISSN 2371-9621. doi:10.1609/aimag.v38i3.2741. 
  20. ^ а б Software studies : a lexicon. Matthew Fuller. Cambridge, Mass.: MIT Press. 2008. ISBN 978-0-262-27334-3. OCLC 232299603. 
  21. ^ а б в г д ђ Weizenbaum, Joseph (1976). Computer power and human reason : from judgment to calculation. San Francisco, Cal. ISBN 0-7167-0464-1. OCLC 1527521. 
  22. ^ Lowry, Stella; Macpherson, Gordon (1988-03-05). „A blot on the profession”. Br Med J (Clin Res Ed) (на језику: енглески). 296 (6623): 657—658. ISSN 0267-0623. PMC 2545288 Слободан приступ. PMID 3128356. doi:10.1136/bmj.296.6623.657. 
  23. ^ Miller, Alex P. (2018-07-26). „Want Less-Biased Decisions? Use Algorithms.”. Harvard Business Review. ISSN 0017-8012. Приступљено 2023-04-27. 
  24. ^ а б Introna, Lucas D. (2. 12. 2011). „The Enframing of Code”. Theory, Culture & Society. 28 (6): 113—141. doi:10.1177/0263276411418131. 
  25. ^ Bogost, Ian (2015-01-15). „The Cathedral of Computation”. The Atlantic (на језику: енглески). Приступљено 2023-04-27. 
  26. ^ а б Introna, Lucas; Wood, David (2004). „Picturing algorithmic surveillance: the politics of facial recognition systems”. Surveillance & Society (на језику: енглески). 2 (2/3): 177—198. 
  27. ^ а б Introna, Lucas D. (2007-03-01). „Maintaining the reversibility of foldings: Making the ethics (politics) of information technology visible”. Ethics and Information Technology (на језику: енглески). 9 (1): 11—25. ISSN 1572-8439. doi:10.1007/s10676-006-9133-z. 
  28. ^ а б Boyd, Stowe (2016-05-11). „A Speculative Post on the Idea of Algorithmic Authority « Clay Shirky”. Medium (на језику: енглески). Приступљено 2023-04-27. 
  29. ^ а б Ziewitz, Malte (30. 9. 2015). „Governing Algorithms: Myth, Mess, and Methods”. Science, Technology, & Human Values (на језику: енглески). 41 (1): 3—16. ISSN 0162-2439. doi:10.1177/0162243915608948. 
  30. ^ Lash, Scott (1. 5. 2007). „Power after Hegemony: Cultural Studies in Mutation?”. Theory, Culture & Society (на језику: енглески). 24 (3): 55—78. ISSN 0263-2764. doi:10.1177/0263276407075956. 
  31. ^ а б Garcia, Megan (2016-12-01). „Racist in the Machine”. World Policy Journal. 33 (4): 111—117. ISSN 0740-2775. doi:10.1215/07402775-3813015. 
  32. ^ „ACM FAccT - 2021 Registration”. facctconference.org. Приступљено 2023-04-27. 
  33. ^ OchigameDecember 20 2019, Rodrigo OchigameRodrigo; P.m, 6:19. „How Big Tech Manipulates Academia to Avoid Regulation”. The Intercept (на језику: енглески). Приступљено 2023-04-27. 
  34. ^ Sergot, M. J.; Sadri, F.; Kowalski, R. A.; Kriwaczek, F.; Hammond, P.; Cory, H. T. (1986-05-01). „The British Nationality Act as a logic program”. Communications of the ACM. 29 (5): 370—386. ISSN 0001-0782. doi:10.1145/5689.5920. 
  35. ^ Roth, Alvin E. (1990-12-14). „New Physicians: A Natural Experiment in Market Organization”. Science (на језику: енглески). 250 (4987): 1524—1528. ISSN 0036-8075. doi:10.1126/science.2274783. 
  36. ^ The New York Times Magazine (на језику: енглески), 2023-04-07, Приступљено 2023-04-28 
  37. ^ а б Jouvenal, Justin (25. 11. 2017). „Police are using software to predict crime. Is it a 'holy grail' or biased against minorities?”. 
  38. ^ а б Chamma, Maurice (2016-02-03). „Policing the Future”. 
  39. ^ Lum, Kristian; Isaac, William (октобар 2016). „To predict and serve?”. academic.oup.com. doi:10.1111/j.1740-9713.2016.00960.x. Приступљено 2023-04-28. 
  40. ^ Smith, Jack. „Predictive policing only amplifies racial bias, study shows”. 
  41. ^ Lum, Kristian; Isaac, William (1. 10. 2016). „FAQs on Predictive Policing and Bias”. 
  42. ^ Sun, Wenlong; Nasraoui, Olfa; Shafto, Patrick (2023-04-28). „Iterated Algorithmic Bias in the Interactive Machine Learning Process of Information Filtering”: 110—118. ISBN 978-989-758-330-8. doi:10.5220/0006938301100118. 
  43. ^ Sinha, Ayan; Gleich, David F.; Ramani, Karthik (2018-08-09). „Gauss’s law for networks directly reveals community boundaries”. Scientific Reports (на језику: енглески). 8 (1): 11909. ISSN 2045-2322. PMC 6085300 Слободан приступ. PMID 30093660. doi:10.1038/s41598-018-30401-0. 
  44. ^ Hao, Karen (фебруар 2018). „Google is finally admitting it has a filter-bubble problem”. 
  45. ^ „Facebook Is Testing This New Feature to Fight 'Filter Bubbles'”. 
  46. ^ а б в Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie; Langbort, Cedric (2014). Gangadharan, Seeta Pena; Eubanks, Virginia; Barocas, Solon, ур. „An Algorithm Audit” (PDF). Data and Discrimination: Collected Essays. 
  47. ^ Epstein, Robert; Robertson, Ronald E. (2015-08-18). „The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections”. Proceedings of the National Academy of Sciences (на језику: енглески). 112 (33). ISSN 0027-8424. PMC 4547273 Слободан приступ. PMID 26243876. doi:10.1073/pnas.1419828112. 
  48. ^ Bond, Robert M.; Fariss, Christopher J.; Jones, Jason J.; Kramer, Adam D. I.; Marlow, Cameron; Settle, Jaime E.; Fowler, James H. (2012-09-12). „A 61-million-person experiment in social influence and political mobilization”. Nature (на језику: енглески). 489 (7415): 295—298. ISSN 1476-4687. PMC 3834737 Слободан приступ. PMID 22972300. doi:10.1038/nature11421. 
  49. ^ „Curious LinkedIn search results highlight tech's diversity problems”. The Seattle Times (на језику: енглески). 2016-08-31. Приступљено 2023-04-29. 
  50. ^ Duhigg, Charles (2012-02-16). „How Companies Learn Your Secrets”. The New York Times (на језику: енглески). ISSN 0362-4331. Приступљено 2023-04-29. 
  51. ^ Crawford, Kate; Schultz, Jason (2013-10-01). „Big Data and Due Process: Toward a Framework to Redress Predictive Privacy Harms” (на језику: енглески). Rochester, NY. 
  52. ^ Noble, Safiya U. (2012-01-01). „Missed Connections: What Search Engines Say About Women”. Bitch magazine. 
  53. ^ Guynn, Jessica. „Google starts flagging offensive content in search results”. USA TODAY (на језику: енглески). Приступљено 2023-04-29. 
  54. ^ „Probing the Dark Side of Google’s Ad-Targeting System”. MIT Technology Review (на језику: енглески). Приступљено 2023-04-29. 
  55. ^ Prates, Marcelo O. R.; Avelar, Pedro H. C.; Lamb, Luis (2019-03-11). „Assessing Gender Bias in Machine Translation -- A Case Study with Google Translate”. arXiv:1809.02208 [cs]. 
  56. ^ Prates, Marcelo O. R.; Avelar, Pedro H.; Lamb, Luís C. (2020-05-01). „Assessing gender bias in machine translation: a case study with Google Translate”. Neural Computing and Applications (на језику: енглески). 32 (10): 6363—6381. ISSN 1433-3058. doi:10.1007/s00521-019-04144-6. 
  57. ^ „Amazon scraps secret AI recruiting tool that showed bias against women”. Reuters (на језику: енглески). 2018-10-10. Приступљено 2023-04-29. 
  58. ^ Vincent, James (2018-10-10). „Amazon reportedly scraps internal AI recruiting tool that was biased against women”. The Verge (на језику: енглески). Приступљено 2023-04-29. 
  59. ^ „Reflecting on Spotify’s Recommender System – SongData” (на језику: енглески). Приступљено 2023-04-29. 
  60. ^ Buolamwini, Joy; Gebru, Timnit (2018-01-21). „Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”. Proceedings of the 1st Conference on Fairness, Accountability and Transparency (на језику: енглески). PMLR: 77—91. 
  61. ^ Noble, Safiya Umoja (2018). Algorithms of oppression : how search engines reinforce racism. New York. ISBN 978-1-4798-3724-3. OCLC 987591529. 
  62. ^ а б The new media of surveillance. Shoshana Magnet, Kelly Gates. Abingdon, Oxon: Routledge. 2009. ISBN 0-415-56812-9. OCLC 463396828. 
  63. ^ Marabelli, Marco; Newell, Sue; Handunge, Valerie (2021-09-01). „The lifecycle of algorithmic decision-making systems: Organizational choices and ethical challenges”. The Journal of Strategic Information Systems (на језику: енглески). 30 (3): 101683. ISSN 0963-8687. doi:10.1016/j.jsis.2021.101683. 
  64. ^ Alexander, Rudolph; Gyamerah, Jacquelyn (1997-09-01). „Differential Punishing of African Americans and Whites Who Possess Drugs: A Just Policy or a Continuation of the Past?”. Journal of Black Studies (на језику: енглески). 28 (1): 97—111. ISSN 0021-9347. doi:10.1177/002193479702800106. 
  65. ^ Petersilia, Joan (1985-01-04). „Racial Disparities in the Criminal Justice System: A Summary”. Crime & Delinquency (на језику: енглески). 31 (1): 15—34. ISSN 0011-1287. doi:10.1177/0011128785031001002. 
  66. ^ Guynn, Jessica. „Google Photos labeled black people 'gorillas'”. USA TODAY (на језику: енглески). Приступљено 2023-04-29. 
  67. ^ Rose, Adam (2010-01-22). „Are Face-Detection Cameras Racist?”. Time (на језику: енглески). ISSN 0040-781X. Приступљено 2023-04-29. 
  68. ^ „The accent gap: How Amazon’s and Google’s smart speakers leave certain voices behind”. Washington Post (на језику: енглески). Приступљено 2023-04-29. 
  69. ^ Sweeney, Latanya (2013-01-28). „Discrimination in Online Ad Delivery”. arXiv:1301.6822 [cs]. 
  70. ^ „Racial bias in a medical algorithm favors white patients over sicker black patients”. Washington Post (на језику: енглески). ISSN 0190-8286. Приступљено 2023-04-29. 
  71. ^ Bartlett, Robert; Morse, Adair; Stanton, Richard; Wallace, Nancy (јун 2019). „Consumer-Lending Discrimination in the FinTech Era”. NBER Working Paper No. 25943. Cambridge, MA. doi:10.3386/w25943. 
  72. ^ Grassegger, Julia Angwin,Hannes. „Facebook’s Secret Censorship Rules Protect White Men From Hate Speech But Not Black Children”. ProPublica (на језику: енглески). Приступљено 2023-04-29. 
  73. ^ Tobin, Julia Angwin,Madeleine Varner,Ariana. „Facebook Enabled Advertisers to Reach ‘Jew Haters’”. ProPublica (на језику: енглески). Приступљено 2023-04-29. 
  74. ^ Ghaffary, Shirin (2019-08-15). „The algorithms that detect hate speech online are biased against black people”. Vox (на језику: енглески). Приступљено 2023-04-29. 
  75. ^ Furl, Nicholas; Phillips, P. Jonathon; O'Toole, Alice J. (2002-02-11). „Face recognition algorithms and the other-race effect: computational mechanisms for a developmental contact hypothesis”. Cognitive Science (на језику: енглески). 26 (6): 797—815. doi:10.1207/s15516709cog2606_4. 
  76. ^ Raji, Inioluwa Deborah; Gebru, Timnit; Mitchell, Margaret; Buolamwini, Joy; Lee, Joonseok; Denton, Emily (2020-02-07). „Saving Face: Investigating the Ethical Concerns of Facial Recognition Auditing”. Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society. AIES '20. New York, NY, USA: Association for Computing Machinery: 145—151. ISBN 978-1-4503-7110-0. doi:10.1145/3375627.3375820. 
  77. ^ Buolamwini, Joy; Gebru, Timnit (2018-01-21). „Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”. Proceedings of the 1st Conference on Fairness, Accountability and Transparency (на језику: енглески). PMLR: 77—91. 
  78. ^ Ananny, Mike (2011-04-14). „The Curious Connection Between Apps for Gay Men and Sex Offenders”. The Atlantic (на језику: енглески). Приступљено 2023-04-29. 
  79. ^ Matsakis, Louise. „A ‘Sexist’ Search Bug Says More About Us Than Facebook”. Wired (на језику: енглески). ISSN 1059-1028. Приступљено 2023-04-29. 
  80. ^ Samuel, Sigal (2019-04-19). „Some AI just shouldn’t exist”. Vox (на језику: енглески). Приступљено 2023-04-29. 
  81. ^ Wang, Yilun; Kosinski, Michal (2017-02-15). „Deep neural networks are more accurate than humans at detecting sexual orientation from facial images.” (на језику: енглески). doi:10.17605/OSF.IO/ZN79K. 
  82. ^ Levin, Sam (2017-09-09). „LGBT groups denounce 'dangerous' AI that uses your face to guess sexuality”. The Guardian (на језику: енглески). ISSN 0261-3077. Приступљено 2023-04-29. 
  83. ^ Pal, G.C. (2011-09-16). „Disability, Intersectionality and Deprivation: An Excluded Agenda”. Psychology and Developing Societies (на језику: енглески). 23 (2): 159—176. ISSN 0971-3336. doi:10.1177/097133361102300202. 
  84. ^ Brinkman, Aurora H.; Rea-Sandin, Gianna; Lund, Emily M.; Fitzpatrick, Olivia M.; Gusman, Michaela S.; Boness, Cassandra L.; Scholars for Elevating Equity and Diversity (SEED) (2023). „Shifting the discourse on disability: Moving to an inclusive, intersectional focus.”. American Journal of Orthopsychiatry (на језику: енглески). 93 (1): 50—62. ISSN 1939-0025. doi:10.1037/ort0000653. 
  85. ^ „Mission — Disability is Diversity — Dear Entertainment Industry, THERE'S NO DIVERSITY, EQUITY & INCLUSION WITHOUT DISABILITY”. Disability is Diversity (на језику: енглески). Приступљено 2023-04-29. 
  86. ^ „Microsoft Inclusive Design”. inclusive.microsoft.design (на језику: енглески). Приступљено 2023-04-29. 
  87. ^ „Disability Data Report 2021”. Disability Data Initiative (на језику: енглески). Приступљено 2023-04-29. 
  88. ^ Givens, Alexandra Reeve (2020-02-06). „How Algorithmic Bias Hurts People With Disabilities”. Slate (на језику: енглески). ISSN 1091-2339. Приступљено 2023-04-29. 
  89. ^ Morris, Meredith Ringel (2020-05-22). „AI and accessibility”. Communications of the ACM. 63 (6): 35—37. ISSN 0001-0782. doi:10.1145/3356727. 
  90. ^ Friedler, Sorelle A.; Scheidegger, Carlos; Venkatasubramanian, Suresh (2016-09-23). „On the (im)possibility of fairness”. arXiv:1609.07236 [cs, stat]. 
  91. ^ Hu, Lily; Chen, Yiling (2018-07-03). „Welfare and Distributional Impacts of Fair Classification”. arXiv:1807.01134 [cs, stat]. 
  92. ^ Dwork, Cynthia; Hardt, Moritz; Pitassi, Toniann; Reingold, Omer; Zemel, Rich (2011-11-28). „Fairness Through Awareness”. arXiv:1104.3913 [cs]. 
  93. ^ LaFrance, Adrienne (18. 9. 2015). „The Algorithms That Power the Web Are Only Getting More Mysterious”. The Atlantic. Приступљено 27. 4. 2023. 
  94. ^ а б в Introna, Lucas; Wood, David (2004). „Picturing algorithmic surveillance: the politics of facial recognition systems”. Surveillance & Society (на језику: енглески). 2 (2/3): 177—198. 
  95. ^ Latour, Bruno (1999). Pandora's hope : essays on the reality of science studies. Cambridge, Mass.: Harvard University Press. ISBN 0-674-65335-1. OCLC 40311545. 
  96. ^ Innovative methods in media and communication research. Sebastian Kubitschko, Anne Kaun. Cham, Switzerland. 2016. ISBN 978-3-319-40700-5. OCLC 967532976. 
  97. ^ McGee, Matt (16. 8. 2013). „EdgeRank Is Dead: Facebook's News Feed Algorithm Now Has Close To 100K Weight Factors”. Marketing Land. Приступљено 27. 4. 2023. 
  98. ^ а б в Granka, Laura A. (2010-09-27). „The Politics of Search: A Decade Retrospective”. The Information Society. 26 (5): 364—374. ISSN 0197-2243. doi:10.1080/01972243.2010.511560. 
  99. ^ Veale, Michael; Binns, Reuben (2017). „Fairer machine learning in the real world: Mitigating discrimination without collecting sensitive data”. Big Data & Society (на језику: енглески). 4 (2): 205395171774353. ISSN 2053-9517. doi:10.1177/2053951717743530. 
  100. ^ Elliott, Marc N.; Morrison, Peter A.; Fremont, Allen; McCaffrey, Daniel F.; Pantoja, Philip; Lurie, Nicole (2009-06-01). „Using the Census Bureau’s surname list to improve estimates of race/ethnicity and associated disparities”. Health Services and Outcomes Research Methodology (на језику: енглески). 9 (2): 69—83. ISSN 1572-9400. doi:10.1007/s10742-009-0047-1. 
  101. ^ Chen, Jiahao; Kallus, Nathan; Mao, Xiaojie; Svacha, Geoffry; Udell, Madeleine (2019-01-29). „Fairness Under Unawareness: Assessing Disparity When Protected Class Is Unobserved”. Proceedings of the Conference on Fairness, Accountability, and Transparency. FAT* '19. New York, NY, USA: Association for Computing Machinery: 339—348. ISBN 978-1-4503-6125-5. doi:10.1145/3287560.3287594. 
  102. ^ Kilbertus, Niki; Gascón, Adrià; Kusner, Matt J.; Veale, Michael; Gummadi, Krishna P.; Weller, Adrian (2018-06-08). „Blind Justice: Fairness with Encrypted Sensitive Attributes”. arXiv:1806.03281 [cs, stat]. 
  103. ^ Binns, Reuben; Veale, Michael; Van Kleek, Max; Shadbolt, Nigel (2017). Ciampaglia, Giovanni Luca; Mashhadi, Afra; Yasseri, Taha, ур. „Like Trainer, Like Bot? Inheritance of Bias in Algorithmic Content Moderation”. Social Informatics (на језику: енглески). Cham: Springer International Publishing: 405—415. ISBN 978-3-319-67256-4. doi:10.1007/978-3-319-67256-4_32. 
  104. ^ Large, Thomas ClaburnEditor at; MobilityJuly 18, Enterprise; 2016 (2016-07-18). „EU Data Protection Law May End The Unknowable Algorithm”. InformationWeek (на језику: енглески). Приступљено 2023-04-27. 
  105. ^ а б Jobin, Anna; Ienca, Marcello; Vayena, Effy (2. 9. 2019). „The global landscape of AI ethics guidelines”. Nature Machine Intelligence (на језику: енглески). 1 (9): 389—399. ISSN 2522-5839. doi:10.1038/s42256-019-0088-2. 
  106. ^ Hardt, Moritz; Price, Eric; Srebro, Nathan (2016-10-07). „Equality of Opportunity in Supervised Learning”. arXiv:1610.02413 [cs]. 
  107. ^ „Microsoft is developing a tool to help engineers catch bias in algorithms”. VentureBeat (на језику: енглески). 2018-05-25. Приступљено 2023-04-28. 
  108. ^ „Mitigating Bias in Artificial Intelligence (AI) Models -- IBM Research”. IBM Research Blog (на језику: енглески). 2018-02-07. Приступљено 2023-04-28. 
  109. ^ Sen, Sajib; Dasgupta, Dipankar; Gupta, Kishor Datta (17. 7. 2022). „An Empirical Study on Algorithmic Bias”. 2020 IEEE 44th Annual Computers, Software, and Applications Conference (COMPSAC): 1189—1194. doi:10.1109/COMPSAC48688.2020.00-95. 
  110. ^ Zou, James; Schiebinger, Londa (2018-07-18). „AI can be sexist and racist — it’s time to make it fair”. Nature (на језику: енглески). 559 (7714): 324—326. doi:10.1038/d41586-018-05707-8. 
  111. ^ Jia, Sen; Lansdall-Welfare, Thomas; Cristianini, Nello (2018). „Right for the Right Reason: Training Agnostic Networks”. arXiv:1806.06296 [cs, stat]. 11191: 164—174. doi:10.1007/978-3-030-01768-2_14. 
  112. ^ Sutton, Adam; Lansdall-Welfare, Thomas; Cristianini, Nello (2018-06-16). „Biased Embeddings from Wild Data: Measuring, Understanding and Removing”. arXiv:1806.06301 [cs, stat]. 
  113. ^ „Artificial Intelligence & Machine Learning: Policy Paper”. Internet Society (на језику: енглески). Приступљено 2023-04-28. 
  114. ^ а б „How to Prevent Discriminatory Outcomes in Machine Learning”. World Economic Forum (на језику: енглески). Приступљено 2023-04-28. 
  115. ^ „Explainable Artificial Intelligence”. www.darpa.mil. Приступљено 2023-04-28. 
  116. ^ PricewaterhouseCoopers. „The responsible AI framework”. PwC (на језику: енглески). Приступљено 2023-04-28. 
  117. ^ Transparency : the key to better governance?. Christopher Hood, David Heald. Oxford: Oxford University Press. 2006. ISBN 0-19-726383-6. OCLC 70173197. 
  118. ^ Kemper, Jakko; Kolkman, Daan (2019-12-06). „Transparent to whom? No algorithmic accountability without a critical audience”. Information, Communication & Society. 22 (14): 2081—2096. ISSN 1369-118X. doi:10.1080/1369118X.2018.1477967. 
  119. ^ „The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems”. Human Rights Watch (на језику: енглески). 2018-07-03. Приступљено 2023-04-28. 
  120. ^ Floridi, Luciano; Cowls, Josh; Beltrametti, Monica; Chatila, Raja; Chazerand, Patrice; Dignum, Virginia; Luetge, Christoph; Madelin, Robert; Pagallo, Ugo (2018-12-01). „AI4People—An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations”. Minds and Machines (на језику: енглески). 28 (4): 689—707. ISSN 1572-8641. PMC 6404626 Слободан приступ. PMID 30930541. doi:10.1007/s11023-018-9482-5. 
  121. ^ Crawford, Kate (2016-06-25). „Opinion | Artificial Intelligence’s White Guy Problem”. The New York Times (на језику: енглески). ISSN 0362-4331. Приступљено 2023-04-28. 
  122. ^ Simonite, Tom. „AI Is the Future—But Where Are the Women?”. Wired (на језику: енглески). ISSN 1059-1028. Приступљено 2023-04-28. 
  123. ^ „“We’re in a diversity crisis”: cofounder of Black in AI on what’s poisoning algorithms in our lives”. MIT Technology Review (на језику: енглески). Приступљено 2023-04-28. 
  124. ^ „Inside the fight to reclaim AI from Big Tech’s control”. MIT Technology Review (на језику: енглески). Приступљено 2023-04-28. 
  125. ^ Ciston, Sarah (2019-05-01). „Intersectional AI is essential: polyvocal, multimodal, experimental methods to save artificial intelligence”. Journal of Science and Technology of the Arts (на језику: енглески). 11 (2): 3—8. ISSN 2183-0088. doi:10.7559/citarj.v11i2.665. 
  126. ^ D'Ignazio, Catherine (2020). Data feminism. Lauren F. Klein. Cambridge, Massachusetts. ISBN 978-0-262-35852-1. OCLC 1130235839. 
  127. ^ Bondi, Elizabeth; Xu, Lily; Acosta-Navas, Diana; Killian, Jackson A. (2021-07-30). „Envisioning Communities: A Participatory Approach Towards AI for Social Good”. Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society. AIES '21. New York, NY, USA: Association for Computing Machinery: 425—436. ISBN 978-1-4503-8473-5. doi:10.1145/3461702.3462612. 
  128. ^ University, Stanford (2019-03-18). „Stanford University launches the Institute for Human-Centered Artificial Intelligence”. Stanford News (на језику: енглески). Приступљено 2023-04-28. 
  129. ^ Bondi, Elizabeth; Xu, Lily; Acosta-Navas, Diana; Killian, Jackson A. (2021-07-30). „Envisioning Communities: A Participatory Approach Towards AI for Social Good”. Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society. AIES '21. New York, NY, USA: Association for Computing Machinery: 425—436. ISBN 978-1-4503-8473-5. doi:10.1145/3461702.3462612. 
  130. ^ а б Bygrave, Lee A (2001-01-01). „AUTOMATED PROFILING: MINDING THE MACHINE: ARTICLE 15 OF THE EC DATA PROTECTION DIRECTIVE AND AUTOMATED PROFILING”. Computer Law & Security Review (на језику: енглески). 17 (1): 17—24. ISSN 0267-3649. doi:10.1016/S0267-3649(01)00104-2. 
  131. ^ Wachter, Sandra; Mittelstadt, Brent; Floridi, Luciano (1. 5. 2017). „Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation”. International Data Privacy Law. 7 (2): 76—99. ISSN 2044-3994. doi:10.1093/idpl/ipx005 Слободан приступ. 
  132. ^ Edwards, Lilian; Veale, Michael (2017-05-23). „Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For” (на језику: енглески). Rochester, NY. 
  133. ^ Singer, Natasha (2. 2. 2013). „Consumer Data Protection Laws, an Ocean Apart”. The New York Times. Приступљено 27. 4. 2023. 
  134. ^ Felten, Ed; Lyons, Terah (12. 10. 2016). „The Administration's Report on the Future of Artificial Intelligence”. whitehouse.gov. National Archives. Приступљено 27. 4. 2023. 
  135. ^ Kirchner, Lauren (18. 12. 2017). „New York City Moves to Create Accountability for Algorithms”. ProPublica. Приступљено 27. 4. 2023. 
  136. ^ „The New York City Council - File #: Int 1696-2017”. legistar.council.nyc.gov. New York City Council. 11. 1. 2018. Приступљено 27. 4. 2023. 
  137. ^ Rai, Saritha (31. 7. 2018). „India Weighs Comprehensive Data Privacy Bill, Similar to EU's GDPR”. Insurance Journal. Приступљено 27. 4. 2023. 
  138. ^ „The Personal Data Protection Bill, 2018” (PDF). Ministry of Electronics & Information Technology, Government of India. 2018. Приступљено 27. 4. 2023. 
Преузето из „https://sr.wikipedia.org/w/index.php?title=Корисник:GrupaMATF/песак&oldid=25706752”