Osynliga algoritmer kan skapa självförstärkande sexism, rasism och elitism.
Torsten Fagerholm är chefredaktör för Affärsmagasinet Forum.
Ju mer data, desto bättre? Data ljuger aldrig? Nähä. Datadrivna politiska kampanjer och uppmärksamhetsekonomin löper hand i hand och bygger på samma maktdynamik. Gränsen mellan politik och dokusåpa suddas gradvis ut medan Facebook, Amazon, Apple och Google styr våra konsumtionsbeslut.
I boken ”Weapons of Math Destruction – How Big Data Increases Inequality and Threatens Democracy” (2016) beskriver Harvard-matematikern, datavetaren och den före detta hedgefond-kvantanalytikern Cathy O’Neil hur algoritmer och data påverkar våra utbildningsalternativ, låne- och försäkringsvillkor samt karriärer.
Efter att själv ha jobbat vid Wall Street deltog O’Neil i proteströrelsen Occupy Wall Street. Hon insåg hur matematik missbrukas: subprime-bostadslån var finansiella massförstörelsevapen som triggade en global finanskris och massarbetslöshet. ”I left disgusted by finance because I thought of it as a rigged system and it was rigged for the insiders” sa hon i Guardian i fjol.
Numera används algoritmer allt oftare som stöd för att avgöra vem som anställs eller befordras, eller rentav får sparken. I framtiden kan de utmäta straff vid domslut. Risken med algoritmer är att de cementerar status quo likt en slinga av evig, självförstärkande återkoppling. Ifall en könsspecifik algoritm bestämde över rekryteringen inom finans eller teknik så skulle få kvinnor någonsin kallas till intervju.
Ifall livsviktiga beslut inte fattas av partiska, subjektiva människor utan av till synes neutrala matematiska modeller borde utfallen teoretiskt sett bli rättvisare och mer jämlika. Men alla kodsnuttar är hopsydda av människor och kan bli diskriminerande.
Algoritmer sorterar bland meritförteckningar på basis av nyckelord, utvärderar effektiviteten hos anställda, bedömer risken för återfall hos dömda brottslingar, påverkar vårt röstbeteende, registrerar och övervakar vårt hälsotillstånd. Varje sekund vi surfar på webben bidrar beteendet till statistiska modeller kring våra önskemål, preferenser och köpkraft. Likaså mäts våra förmågor som studenter, anställda och partners, samt vår potential för brottsliga handlingar.
Tänk ifall du kan nekas försäkring eller studielån enligt ditt postnummer, vilket i sin tur påverkar dina chanser till utbildning och karriär. Grundproblemet är att algoritmerna fungerar som svarta lådor: ogenomskinligt, oreglerat och i enskilda teknikjättars privata ägo. Medborgaren, väljaren och konsumenten saknar insyn och besvärsrätt. Vi är underkastade osynliga profitmotiv.
Det är upp till oss själva som medborgare, väljare och konsumenter att bli mer medvetna och kunniga om de matematiska modellerna som styr våra liv. Speciellt eftersom de kan reproducera en (omedveten) inkodad rasism, elitism eller sexism. Algoritmer kan också utnyttjas predatoriskt för att rikta reklamkampanjer mot outbildade, resurssvaga och sårbara konsumenter.
I juli startade O’Neil bolaget ORCAA (O’Neil Risk Consulting and Algorithmic Auditing), som erbjuder riskanalys och revision av algoritmer. Alla teknikbolag, datavetare och hobbykodare borde gå en grundkurs i etik och moralfilosofi, samt likt läkare avlägga en hippokratisk ed: ”först av allt, att inte skada” för att förebygga ekonomisk och politisk polarisering.
Vi måste börja använda våra egna hjärnor, skärpa vår kritiska tankeförmåga, ifrågasätta faraonerna och kräva att få kika in under motorhuven. Vi behöver förstå algoritmerna, kräva transparens och hålla deras skapare till svars. Data är inte objektivt. Data är ett etiskt minfält.
O’Neils blogg: https://mathbabe.org/
