Els algoritmes també són masclistes: així amplifiquen la discriminació de les dones

BarcelonaSabeu que els algoritmes decideixen quina publicitat veiem a les xarxes? Sembla un fet sense importància, però no és així. “Si ets un jove en edat de decidir un grau universitari, el més probable és que si ets un noi les xarxes et mostrin graus d’enginyeria i informàtica, i si ets noia d’educació, infermeria i cures”, diu Liliana Arroyo Moliner, doctora en sociologia i directora de la Chair for Socially Responsible Digital Innovation. Milagros Sainz, investigadora i professora de la UOC, explica que la popular aplicació Google Maps "utilitza com a mesura per calcular les distàncies a peu els passos d'un home i això fa que moltes vegades les dones o les persones amb problemes de mobilitat tardin més". També hi ha discriminació a l’hora de buscar feina, en temes de salut i amb els algoritmes que s’utilitzen en entitats bancàries per decidir si es concedeix un préstec o no perquè els models matemàtics dels algoritmes s’apliquen en camps molt diferents i hi ha moltes decisions que es prenen tenint-los en compte. 

Una investigació del 2025 de la qual es va fer ressò el diari The Times sobre LinkedIn va fer una prova en aquesta xarxa amb publicacions idèntiques fetes per homes i dones. El resultat va ser que els posts de dones arribaven a només un 0,6 % dels seguidors, mentre que els d’homes podien superar el 50%. Un altre cas molt citat és el dels processos de selecció. El 65% de les empreses ja utilitzen la IA durant el procés de selecció de personal. El 2018 l'alerta va saltar quan es va saber que l’algoritme que feia la selecció de personal a Amazon descartava els currículums que tenien característiques que l’algoritme interpretava com a femenines. “El problema va ser que les dades que se li van donar per entrenar-lo eren majoritàriament d’homes i l’algoritme va aprendre que els candidats ideals eren homes”, assenyala Ana Freire, enginyera, doctora en informàtica i professora de la UPF Barcelona School of Management (UPF-BSM).

Un estudi del University College London i la Universitat de Kent fet l'any passat posava èmfasi en com els algoritmes de les xarxes socials amplifiquen els continguts misògins, sobretot entre els usuaris més joves, especialment a TikTok.

Les aplicacions de reconeixement d'imatge o veu també identifiquen i classifiquen millor les cares dels homes blancs, “perquè la major part dels equips que entrenen la tecnologia són homes blancs”, diu Freire. I l'anàlisi d'àudio té problemes amb reconèixer les veus més agudes, cosa que afecta principalment les dones quan hi interactuen.

Aquests són només alguns exemples pràctics dels biaixos de gènere en els algoritmes d'internet i la intel·ligència artificial (IA).

Uns biaixos històrics

Cada avenç científic i tecnològic que s’ha fet al llarg de la història de la humanitat ha anat acompanyat no només de sorpresa, polèmiques i debats, sinó també de la presència de biaixos de gènere. “Al llarg de la història de la ciència i la tecnologia les dones han estat invisibilitzades en molts aspectes i ara està passant el mateix”, explica Nadia Alonso, professora i investigadora del departament de comunicació audiovisual, documentació i història de l’art de la Universitat Politècnica de València, que destaca que els biaixos de gènere que hi ha als algoritmes que fan funcionar des dels buscadors més populars d’internet fins a les xarxes socials i les eines d’intel·ligència artificial “són un reflex dels prejudicis que existeixen a la societat”. 

Els algoritmes no són neutrals perquè aprenen del món real, i el món real és desigual. Quan un sistema d’intel·ligència artificial s’entrena amb dades, patrons i decisions humanes prèvies, pot reproduir –i fins i tot amplificar– els estereotips i les discriminacions existents, com pot ser la infrarepresentació de les dones en molts àmbits. “El que fan els algoritmes és reproduir els biaixos existents i amplificar-los”, assenyala Arroyo Moliner.

Perquè la IA funcioni s’ha d’alimentar amb dades, i són aquestes dades les que estan esbiaixades. “La IA no genera biaixos sinó que perpetua els biaixos de les dades que es generen en la nostra societat; som nosaltres el subjecte de creació d’aquests biaixos. Els algoritmes aprenen com ho podria fer un nen petit que creix i de manera natural adquireix aquests biaixos”, afegeix Ana Freire. I no només les dades d’entrenament, també les interaccions entre usuaris, les decisions de disseny i el feedback humà que s'obté a través de les respostes que donem contribueixen a perpetuar aquestes desigualtats.

Ana Albalat-Mascarell, professora de lingüística aplicada també de la Politècnica de València, explica que “els algoritmes recopilen dades d’un context on tot el que és femení es percep com a inferior al que és masculí, per culpa dels prejudicis existents, i llavors categoritzen el que és femení a un nivell inferior”. Que l’algoritme no és neutral sorprèn a molta gent, perquè com que està basat en models matemàtics té una certa presumpció d’objectivitat. La científica de dades Cathy O’Neil, autora del llibre Weapons of math destruction, és especialista en aquesta qüestió i ha explicat en diverses ocasions com els algoritmes matemàtics no són neutrals i poden ser manipulats per biaixos –gènere, origen, educació, classe social...– i això acaba tenint un impacte en les nostres vides. “El que pensi que els biaixos dels algoritmes no l’afecten està molt equivocat. Això afecta a tothom i és molt important ser-ne conscients”, alerta Alonso. 

Més dones als equips creatius

Per corregir aquests biaixos –ja siguin de gènere, edat, origen ètnic o classe– cal un esforç col·lectiu. Liliana Arroyo proposa espais de cocreació de la tecnologia, “i no una sola empresa que la dissenyi”. 

Ana Freire aporta un bri d’esperança, ja que assegura que la tecnologia té eines per contrarestar aquests biaixos. “Els humans estem alimentant la tecnologia, i si som conscients d’aquests biaixos els podem corregir”, diu. Però per fer-ho és necessari que hi hagi més dones als equips que la dissenyin, validin l’entrenament de dades i aportin una mirada crítica al llarg de tot el procés. Però no és suficient. També cal que els equips siguin diversos –en gènere, però també en edat, origen, formació iexperiència– i interdisciplinaris, perquè com diu Meritxell Beltrán, experta en l’impacte dels algoritmes en la igualtat de gènere i professora dels estudis d’economia i empresa de la UOC, “la tecnologia serà neutra si treballem perquè ho sigui”.

Freire també proposa utilitzar algoritmes “transparents”, aquells que ens deixen veure com prenen les decisions. “Són algoritmes més senzills però que permeten veure el procés de raonament de l’algoritme per prendre una decisió o contractar una persona”, explica Freire. I una tercera mesura per minimitzar aquests biaixos és que hi hagi un expert que revisi l’algoritme. “Si hi ha un col·lectiu infrarepresentat, cal que es pugui detectar i garantir que estigui representat en la decisió final”, per evitar casos com el dels algoritmes per concedir crèdits bancaris, per exemple, que oferien condicions menys avantatjoses per a les dones, ja que usaven dades històriques que no són representatives actualment. 

I què podem fer nosaltres?

Com a usuaris també en som responsables. Cal alfabetització digital per tenir destresa en l’ús d’aquestes eines però, sobretot, capacitació digital crítica: “Per entendre el que faig servir, quins models de negoci hi ha darrere i quin tipus d’imaginari social m’està mostrant aquell resultat”, apunta Liliana Arroyo Moliner.

“Hem de fer pedagogia amb la societat en general”, alerta Sainz. “Ens hem de posar les piles i saber que des del moment en què obrim un dispositiu o una eina d’IA allò pot condicionar la nostra manera de pensar i actuar. I no ens hem de refiar del primer que ens ofereixi, hem de contrastar-ho i, si cal, corregir-ho”, afegeix. Alonso i Albalat-Mascarell insten a educar les generacions futures: “Sobretot la generació alfa, que ja no entén el món sense tecnologia, i ha d’aprendre a utilitzar aquesta tecnologia i entendre-la. Cal acabar amb els biaixos de tot tipus perquè si no tindran visions errònies de la realitat”. Liliana Arroyo fa una proposta que va més enllà: que els algoritmes tinguin el nom dels que els creen perquè així potser no oblidaríem que els fan persones. Perquè al final no deixen de ser un producte dels humans, “amb els seus defectes i les seves virtuts”.