Алгоритмите са расистки, защото ние сме расисти. Алгоритмите изправят тъмнокожите хора пред риска да не си наемат апартамент заради несправедлив черен списък, ползван от наемодателите. Както и при кредитни проверки, които не работят или са несправедливи и дискриминационни. Както при търсенето на работа, когато търсачките показват само по-добре платените работни позиции на белите потребители.
На практика всички съществуващи алгоритми, които са навсякъде, във всевъзможна институция, имат проблеми, които трябва да бъдат осветлени. Така че може и да си мислим, че не сме расисти, но данните ще разкрият действителното ни поведение. Ако вземем, например, търсенето в Google на професионални прически или например какво излиза, като потърсите в Google „тъмнокожи момичета“, това е дело на Сафия Ноубъл и други подобни, ще видите, че то е крайно расистко.
За мен едно от най-плашещите неща е именно невидимостта на алгоритмичната щета.
Ако се върнем към примера с търсенето на работа, ако аз съм афро-американска жена с диплома но компютърни науки, за мен ще излязат само резултати спрямо демографския ми профил. С други думи, няма да получа резултати с високоплатени информационни свободни места, защото хората като мен по принцип не получават подобни позиции. Това е несправедливо, но може би е невидимо за мен. Защото аз ще видя само вакантните места, които излизат като резултат от търсенето. Не мога да видя местата, които не ми са показани като резултат. Дори няма да кандидатствам за позициите, за които съм квалифицирана, защото не ги виждам.
Но можем да модифицираме алгоритъма към по-добро. В бъдеще, ако им държим сметка, хората най-малкото ще могат да видят много повече информация. А самите платформи ще бъдат държани отговорни за това да правят всичко по силите си да показват всички най-добри варианти. А не само онези, които са оптимизиране за собствената им печалба. Така че много от тези компании де факто не създават сами своите алгоритми, но лицензират употребата им. И те са отговорни, големите компании са тези, които ползват алгоритмите, те носят отговорността за наемането на своите служители, например. Така че идеята е, че те трябва да проверяват тези алгоритми, преди да им дадат лиценз за употреба. Трябва да ги одитират и аз се занимавам именно с това. Така че искам да бъда наета, наемат ме в подобни ситуации, когато трябва да се верифицира, че алгоритмите, които се ползват или ще се ползват, съответстват на закона, както и на ценностите им. Можем да направим един алгоритъм толкова добър, колкото искаме да бъдем самите ние. Но трябва да го направим на дело. Не бива да се доверяваме предварително, че това е даденост.