Sánchez contra X, Meta i TikTok per la pornografia infantil de les seves IA: se'n pot sortir?
Espanya ordena investigar penalment les tres grans plataformes mentre Europa continua discutint si escanejar els missatges de tothom és bona idea
BarcelonaEl consell de ministres va decidir dimarts passat que ja n'hi ha prou: després de mesos veient com les eines d'intel·ligència artificial de les grans tecnològiques es convertien en generadors automàtics de pornografia infantil, el govern espanyol ha ordenat a la Fiscalia General de l'Estat que investigui X, Meta i TikTok per possibles delictes d'abús sexual de menors. Que ningú no digui que no els havien avisat: quan els usuaris de Grok, la IA d'Elon Musk, van crear 3 milions d'imatges sexualitzades en 11 dies –23.000 de les quals mostraven menors–, potser algú a Silicon Valley hauria pogut sospitar que la cosa no anava bé.
Espanya es converteix així en un dels primers països del món a emprendre accions judicials directes contra les plataformes per CSAM generat per IA –les sigles angleses de material d'abús sexual infantil–, perquè sembla que ningú no es vol mullar dient clarament "pornografia infantil". La portaveu del govern, Elma Saiz, ha estat explícita: "No podem permetre que els algoritmes amplifiquin o emparin aquests delictes". Té raó, però ja van tard: la Internet Watch Foundation –IWF, una entitat britànica sense ànim de lucre que fa la feina que les empreses tecnològiques no volen fer– va trobar l'any 2024 tretze vídeos d'abús infantil generats amb IA; el 2025 ja van ser 3.440. En un any s'han multiplicat per 263. I a sobre, dos de cada tres eren de categoria A, que és el codi britànic per dir "violació i tortura de nens". Benvinguts al futur.
Quan la teva IA fa de pedòfil
El problema és que crear aquestes imatges és d’allò més senzill. Qualsevol individu amb ordinador pot descarregar Stable Diffusion –un programa d'IA de codi obert i perfectament legal– i, amb unes poques fotos d'un menor agafades d'Instagram, generar milers d'imatges sexuals en pocs minuts. Tot desconnectat d'internet, sense deixar rastre. Segons IWF, el 90% són indistingibles de fotografies reals. I no parlem només d'imatges: el 2025 es van disparar els vídeos generats amb IA.
El 2024 la fundació esmentada va trobar aquest material en 42 pàgines web; només durant el primer semestre del 2025, ja era en més de 200. Hi ha fòrums al web fosc on un sol enllaç dona accés a més de 20.000 imatges generades per IA, disponibles per subscripció mensual com si fossin Netflix. I no oblidem Telegram, amb bots que generen automàticament material "a mida" a canvi de criptomonedes. Pàvel Dúrov, conseller delegat de Telegram, va ser detingut a París l'agost passat, en part per això. Però el servei continua funcionant, no fos cas.
Sánchez, paladí digital dels menors
El govern de Pedro Sánchez vol convertir-se en el gran defensor de la protecció digital dels menors. Ja està tramitant al Congrés una llei orgànica que prohibirà l'accés a les xarxes socials fins als setze anys i tipificarà com a delicte la creació i difusió de deepfakes pornogràfics. L'Agència Espanyola de Protecció de Dades va imposar al novembre la primera sanció europea per deepfakes generats per IA: el cas d'Almendralejo (Badajoz), on 15 menors van crear nus falsos de, pel cap baix, una vintena de noies. Ara, amb aquesta nova ordre a la Fiscalia, Espanya se situa al capdavant de la lluita contra el CSAM generat per IA.
En tot cas, no n'hi ha prou amb centrar tota la culpa en X, Meta i TikTok. Té tot el sentit acusar-les i obligar-les a frenar els excessos dels seus algoritmes: són elles les que posen eines de generació d'imatges a només un clic dels seus centenars de milions d'usuaris. A més, la hipocresia és evident: les mateixes plataformes que censuren fotografies de dones alletant perquè s'hi veu un mugró ofereixen, sense tallar-se ni un pèl, eines per generar pornografia infantil. Però el problema va més enllà de les xarxes: Stable Diffusion és de codi obert i es pot descarregar gratuïtament. Cap plataforma no el controla. Cap govern no el pot prohibir.
La tecnologia que funciona (quan la volen fer servir)
Les eines de detecció existeixen i funcionen. PhotoDNA, desenvolupat per Microsoft el 2009, és l'estàndard de la indústria: converteix cada imatge en una empremta digital que sobreviu a retallades i modificacions, i la compara amb bases de dades de milions d'empremtes de CSAM conegut. L'utilitzen Google, Meta, Microsoft i Discord. La plataforma més completa és Safer, de l'empresa Thorn: combina 131 milions d'empremtes verificades amb classificadors d'IA que detecten material nou que no consta a cap base de dades.
El 2024 va processar 112.300 milions d'imatges i vídeos. I funciona: Meta va notificar 30,6 milions de casos de CSAM al Centre Nacional per a Menors Desapareguts i Explotats dels EUA el 2023. En canvi, Apple en va notificar 267. No és que els usuaris d'Apple siguin més angelicals, sinó que Apple no escaneja. I no és que no ho hagi provat.
El 2021 Apple va anunciar NeuralHash, un sistema per escanejar les fotos dels iPhones abans de pujar-les al núvol iCloud. La idea era que, si en trobava més de 10 de sospitoses, s'avisava un revisor humà; i si aquest confirmava que era pornografia infantil, es denunciava l'usuari a les autoritats.
Tanmateix, els investigadors van trigar poques hores a trobar forats de seguretat en el sistema i 14 dels millors criptògrafs del món van publicar un article devastador contra NeuralHash. Apple va abandonar el projecte 15 mesos després. Ara l'empresa afronta una demanda milmilionària per haver-lo abandonat. Tot un dilema: si t'escanejo el telèfon, soc un espia; si no l'escanejo, soc un còmplice.
Europa, mentrestant, continua discutint
La Unió Europea fa quatre anys que negocia el Reglament CSAR, que els detractors anomenen "Chat Control". La proposta original obligava totes les plataformes de missatgeria a escanejar automàticament tots els missatges. El Parlament Europeu ho va rebutjar. El Consell va renunciar a l'escaneig obligatori. Ara es negocia en format de diàleg a tres –dels 27 estats ja només s’hi oposen Itàlia, Polònia, la República Txeca i els Països Baixos– un model "voluntari" amb ordres judicials. Però la derogació temporal que permet l'escaneig voluntari expira el 3 d'abril. Signal i Proton ja han amenaçat amb marxar d'Europa si els obliguen a aplicar l'escaneig dels missatges en el dispositiu.
Això sí, mentre Europa discuteix, Europol actua. L'operació Cumberland, al febrer de l'any passat, va ser la primera gran operació contra la pornografia infantil generada per IA: 25 detinguts en 19 països i 273 sospitosos imputats. El principal acusat, un danès, gestionava una plataforma que distribuïa exclusivament material generat per IA. Però les detencions no frenen el creixement: un de cada vuit adolescents ja coneix algú que ha estat víctima d'un deepfake sexual. Set de cada 10 creadors d'aquest material van trobar les eines a les xarxes socials. No al web fosc: a Instagram, a TikTok, a X.
Potser el problema no és que no tinguem prou lleis o prou tecnologia per detectar-ho, sinó que hem creat màquines que generen pornografia infantil amb un parell de clics i després ens sorprèn que individus menyspreables les facin servir. Però no cal patir: podem distreure'ns amb l'enèsima ronda de negociacions a Brussel·les.