La revisió d’experts: malgrat tot, la manera menys dolenta d’avaluar la recerca

The New York TimesDes d’abans que se sabés recentment que un grup d’investigadors havia aconseguit que revistes científiques de renom publiquessin uns quants estudis ridículs inventats, l’opinió pública ja era conscient dels problemes que comporta l’avaluació d’experts, també coneguda com a revisió 'peer review'. Abandonar aquest sistema ―que serveix per valorar si la recerca és sòlida i digna de ser publicada― faria més mal que bé. Tot i això, convé prendre consciència de les mancances que pot presentar.

Els revisors poden acusar una càrrega excessiva de feina i no tenir una preparació suficient. Malgrat que siguin experts en el tema sobre el qual llegeixen, no se’ls proporciona cap formació especial per efectuar la revisió 'peer review' i rara vegada se’ls remunera per la seva feina. Tenint en compte que al món es publiquen 2,5 milions d’articles revisats per experts cada any (més els que s’avaluen però no s’arriben a publicar), es pot fer difícil trobar prou persones per revisar tots els treballs.

Hi ha proves del fet que els criteris dels revisors no sempre són uniformes. Un article del 1982 relata el cas d’un estudi en què dos investigadors van seleccionar dotze articles ja acceptats per revistes científiques molt reputades, van canviar-ne els noms reals i les afiliacions acadèmiques per altres de falsos i van tornar a enviar el material, que en tota la resta era idèntic, a les mateixes publicacions que ja l’havien acceptat entre 18 i 32 mesos abans. Només un 8% dels editors o revisors es van adonar de la duplicació, que es va detectar en tres articles que es van desestimar. Dels nou articles que van continuar en el procés de revisió, se’n van rebutjar vuit després que un 89% dels revisors recomanés no publicar-los.

L’avaluació d’experts podria inhibir la innovació. Perquè es publiqui un article, hi ha d’haver un consens important entre els revisors. Un possible desavantatge d’aquest fet és que treballs de recerca importants que desmenteixen una certa tendència o refuten creences generalment acceptades podrien tenir-ho difícil per superar la revisió 'peer review'. El 2015 un estudi publicat a 'Proceedings of the National Academy of Sciences' va efectuar un seguiment a més de 1.000 manuscrits tramesos a tres revistes mèdiques prestigioses. Dels 808 que es van acabar publicant en algun moment, el 2% que es va citar més vegades havia estat rebutjat per les publicacions mèdiques.

Un problema encara més important és que la revisió d’experts podria acusar certs biaixos. Normalment, els revisors veuen els noms dels autors i la institució a la qual pertanyen i nombrosos estudis han posat de manifest que els revisors tendeixen a acceptar o rebutjar els articles en funció d’una sèrie de factors de caràcter demogràfic. En un estudi publicat l’any passat a 'eLife', els investigadors van crear una base de dades en què constaven més de 9.000 editors, 43.000 revisors i 126.000 autors gràcies a la feina dels quals s’havien publicat uns 41.000 articles en 142 revistes especialitzades en diversos àmbits. Van descobrir que les dones només representaven un 26% dels editors, un 28% dels revisors i un 37% dels autors. Segons les anàlisis practicades, aquest fet no era degut a la disponibilitat més baixa de dones per dur a terme cadascuna d’aquestes tasques.

Un estudi similar centrat en revistes de ciències espacials i de la Terra va revelar que les dones només constituïen al voltant d’una quarta part dels primers signants i al voltant d’un 20% dels revisors. Tot i això, la taxa d’acceptació dels seus articles era més alta que la dels articles escrits per homes.

El 2012 la revista 'Nature' va efectuar una avaluació interna del seu procés de revisió 'peer review' que va revelar que tenia una composició equilibrada pel que fa a editors i redactors, però disparitats pel que fa a la resta d’àrees. El 2011 les dones representaven només un 14% dels més de 5.500 experts revisors d’articles. Només el 18% dels 34 investigadors analitzats el 2011 i el 2012 eren dones i només el 19% dels articles escrits per a la secció 'Comentari i visió del món' van ser obra de dones.

Si bé és possible que les dones declinessin oportunitats de treballar com a revisores, hi ha estudis que han documentat que els editors homes tendeixen a preferir revisors homes. Aquest any 'Nature' ha informat que havia incrementat la participació de les dones en la secció 'Comentari i visió del món' fins al 34%, mentre que el percentatge de revisores havia augmentat només fins al 16%.

La Unesco estima que les dones constitueixen el 29% de la població activa en l’àmbit de la ciència a escala mundial.

Tanmateix, també hi ha dades que confirmen el valor de la revisió d’experts. En un estudi del 1994 publicat a 'Annals of Internal Medicine', es va examinar la qualitat dels articles enviats a la revista abans i després d’haver passat per la revisió d’experts i el sistema editorial. Els investigadors van utilitzar una eina que valora la qualitat del manuscrit en relació amb 34 paràmetres. La investigació va revelar que tots, tret d’un, havien millorat. Les principals millores es van registrar en el plantejament de les limitacions de l’estudi, les generalitzacions, l’ús dels intervals de confiança i el to de les conclusions. Probablement cap d’aquestes millores no s’hauria produït sense el toc d’atenció de la revisió 'peer review'.

Idees per a una millor avaluació d’experts

Doncs bé, ¿com es podria millorar el sistema actual?

Per començar, el fet de proporcionar més formació de caràcter formal podria comportar una millora de la qualitat i la velocitat de la revisió. Donada la dificultat de contractar bons revisors, els editors de publicacions científiques o acadèmiques es podrien plantejar oferir-los uns incentius més atractius, com ara pagar-los en funció del temps que dediquin a la tasca. El 2008 es va estimar que els costos no pagats de l’avaluació d’experts ascendien a 1.900 milions de lliures (uns 2.178 milions d’euros en el canvi actual). Les publicacions també podrien oferir als revisors una tramitació més ràpida dels articles propis que presentin en el futur, sense per això comprometre’s a acceptar-los. D’altra banda, l’acadèmia podria prestar un reconeixement més formal a la feina de revisió.

Un cert nombre de revistes han passat a efectuar revisions amb cegament complet en què els revisors desconeixen els autors o les institucions dels articles que avaluen. D’aquesta manera, es podrien eliminar alguns biaixos. De tota manera, aquesta mesura és difícil de portar a la pràctica perquè sovint els articles fan referència a treballs anteriors o al lloc on s’ha dut a terme la recerca. A més, no resol la manca relativa de dones en el procés editorial i d’avaluació en general.

Una manera de detectar prèviament els problemes de la recerca seria permetre que els investigadors pengin els manuscrits a internet abans d’enviar-los a la revista. D’aquesta manera, se sotmetrien a la valoració del públic abans de l’avaluació d’experts. Aquesta pràctica ja és habitual en algunes ciències, com ara la física. Tanmateix, és possible que les revistes mèdiques s’hi oposin perquè la publicació íntegra dels estudis reduiria la seva capacitat d’atreure la premsa i captar l’atenció del públic.

Per assolir una millora significativa caldria que hi hagués un canvi d’actitud. Massa sovint ens pensem que un cop un article supera la revisió 'peer review' assoleix la condició de “veritat”. Faríem bé d’acceptar que tot, fins i tot la recerca publicada, s’ha de reexaminar a mesura que surten noves proves a la llum i que convé sotmetre-la a una avaluació postpublicació més exhaustiva.

Com a autor d’articles científics i com a escriptor que comenta articles a la premsa, he estat testimoni de la fal·libilitat del procés de revisió d’experts. Però també soc editor de la revista 'JAMA Pediatrics'. Allà, com en moltes publicacions, la primera selecció corre a càrrec d’un editor. Els articles que superen aquest primer obstacle s’envien a uns quants experts de l’àmbit a qui es demana que els llegeixin i en donin la seva opinió a l’editor. Aquesta informació determinarà el que pot passar tot seguit: que s’accepti l’article, que es rebutgi o que es doni la possibilitat als autors de respondre als comentaris dels revisors abans de prendre una decisió.

Cada setmana ens reunim en una teleconferència per debatre sobre articles candidats a la publicació. Parlem de les avaluacions i finalment decidim quins seran els pocs estudis que superin el tall. Sempre m’impressiona la qualitat de les deliberacions i la serietat amb què la gent es pren la seva tasca. També fem un seguiment dels articles que desestimem per veure si ens hem equivocat en decidir rebutjar-los. Aquestes dades ens serveixen per avaluar i millorar el nostre procés. Estic segur que altres publicacions fan el mateix i també tinc la certesa que nosaltres, com la resta de revistes, cometem errors.

Malgrat tot, l’avaluació d’experts continua sent millor que les alternatives. Ara bé, potser tindria més sentit que tant la revisió com la publicació es consideressin passos en el camí cap a la certesa i no pas un segell d’aprovació definitiu.