Tecnologia

El model català que ha d’evitar que la IA vulneri els teus drets

L'any que ve tots els sistemes hauran de passar una avaluació per garantir que no es prenen decisions basades en estigmes o biaixos

Obertura Emprenem Web
29/11/2025
3 min

BarcelonaGarantir que la intel·ligència artificial no vulnera els drets fonamentals és l'objectiu del reglament europeu que a partir de l'any que ve farà que sigui obligatori sotmetre a una avaluació prèvia tots aquests sistemes quan puguin suposar un risc alt per als drets de les persones. Per exemple, quan tinguin relació amb la salut, l'educació, un procediment judicial, els processos de selecció laboral, l'accés a ajudes econòmiques i el control de fronteres. A partir del pròxim agost, els sistemes basats en IA hauran de passar una avaluació prèvia per poder-se fer servir a la UE. La norma, però, no concreta com ha de ser aquesta avaluació, i Catalunya ha desenvolupat un model que ja han fet seu també el País Basc, Croàcia, Malta i el Brasil.

“Hem estat pioners i això ha fet que ens permeti arribar a molts llocs, que es valori i que hi hagi països que l'hagin adoptat com a propi”, afirma la presidenta de l'Autoritat Catalana de Protecció de Dades, Meritxell Borràs, en una entrevista amb l'ARA uns dies després de tancar un acord amb l'autoritat homòloga del Brasil per compartir esforços en el treball per garantir que la IA respecti els drets fonamentals. “Si en un sistema d'IA es detecta un risc rellevant, s'ha de buscar algun mecanisme amb què mitigar-lo i, per tant, fer-lo desaparèixer o minimitzar-lo perquè no afecti els drets fonamentals de les persones”, resumeix Borràs.

El model que s'ha desenvolupat a Catalunya ha estudiat alguns casos pràctics que serveixen d'exemple de situacions en què es podrien produir possibles vulneracions de drets fonamentals. Amb tot, donada l'expansió de l'ús de la IA, Borràs preveu que “més d'hora que tard hi haurà noves casuístiques sobre la taula en què es podran ampliar les ampliacions d'impacte”.

Salut

En l'àmbit sanitari, s'ha estudiat un sistema d'IA que utilitzava imatges per detectar el càncer i seguir-ne l'evolució, fet que portava a decidir sobre el tractament per al pacient. “Igual que fins fa poc les dosis i els tractaments eren igual per a homes i dones i ja hem vist que en alguns casos no ha de ser així, passa el mateix amb les ètnies” avança Borràs. En aquest cas, la IA s'havia basat només en informació de pacients blancs, excloent-ne la resta. “Això ha portat a ampliar l'estudi a altres continents per incloure pacients d'altres ètnies i que es pugui valorar si hi ha un canvi o no en la seva evolució i els tractaments que necessiten”, afirma.

Drets socials

Un altre exemple que cita Borràs són els sistemes d'IA que s'utilitzen per decidir qui pot rebre un crèdit o una ajuda econòmica. En aquest cas, alerta de possibles biaixos que es poden derivar de l'estadística. "Pot haver-hi un biaix pel tipus de població, o perquè aquella persona viu en un barri que a priori és més pobre i que pot ser que hi hagi més possibilitats que no es tornin els crèdits amb més facilitat", exemplifica. Però el que s'ha d'analitzar és la condició de la persona, diu, no el fet que visqui en aquell barri. “Un algoritme pot ajudar a decidir qui rep una ajuda econòmica, però si té biaixos pel barri on viu no anem bé”, planteja.

Educació

El model d'anàlisi de risc desenvolupat a Catalunya també s'ha provat amb un sistema dissenyat per a les avaluacions d'alumnes universitaris i que resumia amb un codi tipus semàfor el seu aprenentatge. L'objectiu era detectar si un alumne tenia dificultats i, per tant, necessitava més atenció o reforç, però a la pràctica “es produïa un biaix psicològic” tant en el docent com en l'estudiant. “Encara que no era el pretès, desincentivava tant el professor com l'alumne, i es veia afectat el dret a l'educació”, explica Borràs.

stats