CIENCIA ESCRITA: LA IMPORTANCIA DEL CÓMO

NOTA PROPIEDAD DE INTRAMED
24 DIC 08 | ¿Sabe cómo funciona la revisión por expertos?
¿Está pensando en publicar un artículo científico?
Revisión por expertos: un análisis exhaustivo de su historia y modalidades.

Dres. Benos DJ, Bashari E, Chaves JM, et al.
Comentario y resumen objetivo: Dr. Ricardo Ferreira.
Adv Physiol Educ 2007 31: 145–152.

Introducción

La revisión externa por expertos (REPE) del material científico, ha sido definida como la evaluación por expertos de los trabajos de investigación científica sobre la base de la competencia, importancia y originalidad. La REPE pretende asegurar la calidad de la información científica y reducir la información errónea y confusa.

La primera colección de artículos científicos se inició en 1665 y la publicación se llamó Journal des Scavans, pero recién en 1731 la Royal Society of Edinburgh publicó Medical Essays and Observations, que fue la primera publicación con REPE. Desde entonces se dejó sentado que en última instancia, los autores eran los responsables definitivos de la calidad y veracidad de sus investigaciones.

A partir del siglo 18 hasta la actualidad hubo una evolución del sistema REPE. Sin embargo, existen dudas sobre sesgos, justicia, demora innecesaria, e ineficacia global del procedimiento. A pesar de estas limitaciones la REPE ofrece a los autores una oportunidad para calibrar la reacción ante el trabajo producido y permite la posibilidad de detectar y corregir errores o imperfecciones antes de que sea publicado definitivamente. O sea que la REPE le infunde un “valor agregado” a la publicación. Todos los aspectos de la REPE son analizados por los autores de este artículo, con el objetivo de discutir los pros y los contra así como las posibles modificaciones y alternativas para mejorar este sistema.

Evolución de la REPE

La REPE sufrió una evolución gradual y relativamente desordenada. Cada editor empleó distintos estilos de REPE. Por ejemplo algunas revista encargaban la REPE a su propio comité editorial, mientras que otras publicaciones elegían expertos de afuera. Recién a fines del siglo XX la REPE se institucionalizó en la mayoría de las revistas científicas.

Actualmente, el sistema de REPE busca un consenso de los expertos sobre los méritos de los manuscritos recibidos con el objeto de su aceptación o rechazo para su publicación. Los pilares de este proceso son los directores de las revistas y los expertos.

Responsabilidades de los directores y de los expertos

Los directores y los expertos son quienes tienen la decisión final sobre el destino de un manuscrito, los primeros conducen la gestión del manuscrito y lo derivan a los expertos que lo analizan. Los directores son quienes seleccionan a los expertos y adoptan la decisión final de la publicación del manuscrito basada sobre la opinión de los expertos, la necesidad de los lectores y la relevancia del trabajo.

Los expertos se encargan de detectar defectos técnicos y de estilo y establecen la novedad del estudio, sugiriendo las recomendaciones para su aceptación, rechazo, o corrección. Examinan los atributos técnicos, el nivel científico, la claridad de la presentación y el cumplimento de los requisitos éticos y de las guías de publicación de la revista, actividades que son laboriosas y no tienen remuneración pero otorgan prestigio.

Recorrido del manuscrito

Existen dos niveles principales de aceptación o rechazo de un manuscrito: el nivel editorial y el nivel del experto. En el primer nivel el director puede rechazar un manuscrito como inadecuado para la característica de los lectores de su revista o por otras varias razones. A este nivel estadísticamente son rechazados el 10% de los manuscritos, pero con grandes variaciones entre las distintas revistas. Si el manuscrito es aceptado por el director, este lo envía a los expertos, generalmente no más de dos por manuscrito. Los comentarios de los expertos son entregados al director quién toma la decisión de aceptar o rechazar el manuscrito. En el primer caso es muy frecuente que sea aceptado con pedido de modificaciones o de información adicional, que de ser hechas por los autores no garantizan totalmente la aceptación final del manuscrito. En las revistas de mucho prestigio el grado de rechazo final de un manuscrito puede llegar al 90%.

Análisis de los beneficios de la REPE

Para determinar la influencia de la REPE sobre la calidad de un manuscrito, se intentó hacer un análisis cuantitativo sobre los manuscritos enviados al Annals of Internal Medicine comparando línea por línea los artículos publicados con sus versiones originales. Los principales cambios se produjeron en 5 aspectos:

Exceso de información.
Información escasa.
Información inexacta o imprecisa.
Información fuera de lugar.
Problemas estructurales.
Otro estudio sobre los manuscritos enviados a la misma revista consistió en un cuestionario de 34 ítems en el cual participaron 44 médicos y epidemiólogos. En el 97% de los ítems del cuestionario se observó mejoría desde la presentación original hasta la publicación del artículo luego de haber pasado por la REPE. Hubo 4 ítems donde se observaron las mayores mejorías:

Discusión de las limitaciones.
Agradecimientos y justificación de las generalizaciones.
Énfasis o tono de las conclusiones.
Uso de intervalos de confianza.
Más allá de la opinión de los expertos y de los lectores, la mayoría de los autores admitieron que sus manuscritos se jerarquizaron después de la REPE.

Análisis de las imperfecciones de la REPE

Las críticas dirigidas a la REPE incluyen:

Influencia por ciertos autores.
Incapacidad para detectar defectos importantes.
Retrasos en la publicación.
Incapacidad para poner al descubierto actos de corrupción y comportamiento científico incorrecto.
El último aspecto fue el que más afectó el valor de la REPE, especialmente a lo que concierne a conflictos de interés y derechos de propiedad intelectual.

REPE y sesgos

El sesgo se puede definir como un prejuicio sistemático que previene la interpretación correcta y objetiva de los estudios científicos. Los sesgos más frecuentes incluyen el status, el sexo y las actitudes del investigador. Hay una mayor tendencia a aceptar manuscritos provenientes de investigadores o de instituciones prestigiadas. En lo que se refiere al sexo, las expertas mujeres tienden a favorecer más a las de su género. Respecto de las actitudes del investigador, las diferencias ideológicas pueden afectar negativamente, así como las ideas muy novedosas o no convencionales, que en más de una oportunidad influenciaron negativamente al experto y retrasaron el avance de la ciencia.

El conflicto de interés se produce cuando los participantes del manuscrito tienen intereses personales que pueden influenciar en forma inadecuada su juicio. El conflicto de interés se produce por diversos tipos de relaciones tales como consideraciones financieras y personales, pasiones intelectuales y competencia académica, siendo las financieras las más frecuentes. Tanto los autores, como los expertos y los directores pueden ser menos críticos ante un manuscrito en el cual alguno de ellos posee un interés. Asimismo, las compañías tratan de bloquear publicaciones que afectan negativamente a sus productos. También es un conflicto de interés la relación favorable o desfavorable del experto con alguno de los autores. Un experto, por ejemplo, puede demorar la aceptación de un manuscrito porque está elaborando otro de la misma idea y no quiere que se publique después de aquél.

Debido a la naturaleza secreta del sistema de donde la identidad de los expertos permanece oculta a los autores, es difícil detectar este tipo de conflictos de interés.

Fraude

Una de las principales limitaciones del sistema de REPE es su incapacidad para detectar el fraude. Un manuscrito puede estar muy bien presentado en su metodología y aunque haya datos o información falsa el experto puede no detectarla. Tal es el caso del biólogo coreano Wook Suk Hwang quién manifestó que había creado 11 líneas humanas de células madre. En este caso, el fraude estuvo tan bien elaborado que no se puede culpar al experto por no haberlo detectado.

En 1998 se llevó a cabo un experimento para determinar la capacidad de los expertos en detectar fraudes. Se envió un manuscrito con 8 fraudes o debilidades científicas introducidas intencionalmente a 200 expertos que en promedio detectaron solamente dos fraudes. Las dos principales causas que impiden detectar un fraude son limitaciones en el tiempo del experto y el agotamiento mental.

Demoras causadas por la REPE

La investigación científica es costosa y ocupa mucho tiempo. Puede pasar un año o más antes de obtener información adecuada para producir un manuscrito que justifique su aprobación. Debido a que rara vez el manuscrito es aceptado en primera instancia, sus autores invariablemente lo modifican y lo vuelven a enviar al director y con la rapidez actual de la investigación científica, puede suceder que otros autores les ganen de mano. Esta inquietud se alivió parcialmente gracias a que en internet un artículo puede aparecer en horas o días después de su aceptación por el director.

La necesidad de la REPE

A pesar de las dificultades y defectos discutidos previamente, el proceso de REPE es importante para la publicación científica. La falta de REPE tendría fuertes repercusiones negativas, una de las principales sería la ausencia de oportunidad para responder a las críticas producidas por los expertos antes de la publicación. En la opinión de los autores de este artículo, solamente este aspecto da suficiente razón para mantener la vigencia de la REPE. Después de la publicación inicial, los autores pueden no estar motivados para aclarar o respaldar ciertos aspectos de su investigación. Por lo tanto, la pérdida de valor agregado aportado por la REPE puede ser enorme.

En el terreno del tratamiento médico en humanos, la abolición de la REPE sería una medida peligrosa ya que la publicación de artículos no analizados por expertos puede comprometer la salud y el tratamiento de los pacientes. Incluso algunos grupos promueven una segunda línea de REPE cuando los hallazgos clínicos se vierten en recomendaciones para la práctica clínica.

Finalmente, la falta de REPE puede aumentar el número de estudios fraudulentos.

Modificaciones a la REPE

Antes de ingresar en una discusión sobre posibles cambios en la REPE, hay que aclarar que en general los expertos de un manuscrito conocen a los autores y sus instituciones, pero éstos desconocen a los expertos. Cuando se habla de una revisión ciega quiere decir que las identidades de los expertos están ocultas para los autores.

Un proceso de revisión abierta es aquel que permite que un mayor grupo de expertos, comente o critique un manuscrito que ya fue publicado, generalmente en internet.

Cuando el proceso de ciego se extiende a los expertos, o sea que ignoran a los autores y sus instituciones, el mecanismo de REPE es más perfecto. Sin embargo, en un 40% de los casos los expertos logran conocer a los autores de un manuscrito, en gran parte porque al examinar la bibliografía suele figurar repetidamente el autor, o este se menciona a sí mismo en el texto (“en un trabajo previo, nosotros ya habíamos observado”) y se lo detecta fácilmente en la correspondiente referencia bibliográfica. Por este motivo, en los resúmenes enviados a congresos que carecen de bibliografía, es mucho más difícil que el experto identifique al autor. En estos casos, hay menos sesgos respecto a rechazar resúmenes que vienen de países de lenguas no inglesas o de instituciones no famosas.

Quizás la mejor forma de determinar la calidad científica de un manuscrito es investigar el impacto que produjo en la comunidad científica. Un estudio retrospectivo de revistas de economía mostró que los artículos con mayor impacto eran aquellos que habían sido sometidos al sistema REPE.

El sistema ciego reduce, pero no elimina los sesgos contra una metodología no convencional, ideas nuevas radicales, resultados negativos y resultados que contradicen el punto de vista del experto.

Otro aspecto es el conflicto de interés. ¿Debe ser revelado al experto un conflicto de interés del autor y en caso afirmativo cuando? Hay una tendencia por parte de los lectores a quitarle seriedad científica a un artículo donde el autor manifiesta un conflicto de interés. Es imperativo que la comunidad científica establezca como se debe manejar un conflicto de interés en el proceso de REPE.

La posibilidad de que el autor y otros expertos conozcan al experto que revisó un manuscrito tiene ciertas ventajas ya que al estar expuesto, el experto examinará más detenidamente el manuscrito y además se detectará si el experto tiene un conflicto de interés. Por otra parte, la exposición del nombre del experto puede hacer que éste sea menos crítico de algunos trabajos.

En general las experiencias realizadas no demostraron que la eliminación del ciego por parte del autor hacia el experto y viceversa modifique sustancialmente la calidad de las revisiones, pero un 12% de los expertos declinan su participación cuando su nombre será conocido por los autores.

Un sistema más reciente es el proceso de revisión abierta que tiene dos funciones: permite disponer de la investigación en forma inmediata y que mucha gente pueda comentar el manuscrito. Los propulsores de este método consideran que una revisión abierta aumenta la calidad de los manuscritos, disemina más rápido la información y reduce el peso laboral sobre los expertos. Actualmente, algunas revistas científicas como la Atmospheric Chemistry and Physics (ACP) utiliza un sistema de revisión abierto en dos etapas en el cual el manuscrito está disponible en internet en forma inmediata, es comentado por expertos designados y científicos interesados, es revisado si hay necesidad y finalmente enviado a un breve proceso tradicional de revisión. En este mecanismo, los expertos pueden incluso preferir el anonimato, pero los científicos que deseen hacer comentarios deben firmarlos durante la primera etapa o etapa abierta. Los directores de esta publicación manifiestan que si bien el grado de rechazo de los manuscritos se encuentra en un 20%, el impacto de la revista la posiciona en el puesto 12 sobre un total de 169 publicaciones en el área de las ciencias de la meteorología y medioambiente.

Existen diversas variaciones sobre este método en dos etapas, en algunas incluso los expertos deben firmar sus comentarios y luego de un período de 3 meses de exposición del manuscrito en internet, los autores pueden revisar el manuscrito y hacer las modificaciones necesarias en base a los comentarios recibidos. Luego el manuscrito pasa a los expertos que finalmente deciden sobre su publicación.

El futuro de REPE

Actualmente existen estructuras de intercambio de información libre bien organizadas que aportan modelos útiles de publicación científica. La Wikipedia, una enciclopedia virtual que permite recibir y editar información sobre cualquier tópico a pesar de que cualquiera puede entrar y alterar la información, se considera que tiene la misma exactitud que la Encyclopedia Britannica, que tiene un comité editorial de 14 expertos.

Biology Direct es otro ejemplo de forma alternativa REPE. El sistema es más rápido que el convencional: un manuscrito es publicado una vez que 3 directores lo aceptaron. Su transparencia pone al descubierto el conflicto de interés ya que los nombres de los expertos y sus comentarios son publicados a lo largo del artículo. También permite que los autores defiendan su trabajo porque pueden agregar refutaciones a lo largo de las revisiones. Además, Biology Direct estimula la publicación de controversias (http://www.biology-direct.com).

Sería útil entrenar a los expertos en los matices sobre como revisar un manuscrito y aportar críticas útiles a los autores. Varias revistas como Annals of Emergency Medicine, el American Journal of Roentgenology, el American Journals of Physiology y el British Medical Journal poseen material de entrenamiento para sus expertos. Los autores de este artículo proponen que las organizaciones de directores médicos de revistas científicas como el Internacional Committee of Medical Journal Editors or the Council of Science Editors, desarrollen en internet un sistema de acreditación para los expertos siguiendo el modelo ya preparado por el British Medical Journal.

Un intento para llegar a un proceso de REPE ideal debe aceptar a priori de que un manuscrito variará en calidad y en impacto. Sin embargo, en lugar de intentar enterrar el extremo bajo de la curva mediante el rechazo de manuscritos, el objetivo será desviar la distribución hacia manuscritos de mayor calidad.
Términos y condiciones de uso
Todos los derechos reservados | Copyright 1997-2009 by INTRAMED

NOTA DEL BLOG: dado que el marco regulatorio que sustenta a las publicaciones científicas sufre modificaciones de año a año según las pautas de revisión que establecen la FDA a través de la PDUFA y sus enmiendas, así como la EMEA-EU y los criterios de investigación y revisión que rigen en EUROPA, incluyendo en ello los criterios monográficos que unifican contenidos destinados a la vigencia de la FASE IV o post-marketing según se trata de estudios farmacológicos o específicamente clínicos, estimamos incorporar dichos ajustes en el BLOG durante el curso del mes de enero de 2009. CERASALE.