¿Qué hace un científico cuando obtiene un resultado trascendente de su investigación? La respuesta obvia es: lo publica. Ahora bien,  ¿dónde y cómo lo publica? Entonces la respuesta deja de ser obvia.

El sistema de incentivos y evaluación de la carrera de investigación en todo el mundo privilegia la publicación en revistas arbitradas por evaluación de pares. Más aún, no cualquier revista. La producción científica es más valorada en el sistema si se publica en revistas de alto impacto. El impacto es normalmente medido mediante un índice que evalúa las revistas, denominado factor de impacto, que se obtiene promediando las citas que recibieron artículos publicados en cada revista en los dos años anteriores. Una vez publicado, también importa en la evaluación que las instituciones hacen de sus investigadores cuántas citas recibieron sus trabajos en otras publicaciones científicas.

Así, un científico que aspire a avanzar en su carrera, debería decidir publicar sus resultados en la revista con mayor factor de impacto o donde espere tener más chances de ser muy citado por la comunidad científica.

Esto implica redactar un manuscrito, formatearlo de acuerdo a los requerimientos de la revista elegida y enviarlo. Esto obviamente lleva tiempo y esfuerzo. Peroes sólo un primer paso.

Un estudio reciente muestra que un 21% de los artículos son rechazados sin revisión de pares sea por falta de mérito o falta de interés editorial. Un 39% adicional es rechazado durante el proceso de revisión y solo 40% es aceptado normalmente con sugerencias de cambios por parte de dos o tres revisores. En el caso que un trabajo entre dentro de este último grupo, tendrá todavía que esperar un promedio de 12 meses para ver publicada su investigación. Sin embargo, lo más probable, es que un trabajo no sea aceptado en la primera revista.

El tiempo que pasa entre hallazgo y la publicación es normalmente muy largo.  El proceso es tedioso. Para atravesarlo el científico invierte recursos motivado mucho más por las necesidades de progresar en su carrera de investigador que por el deseo de difundir información al público interesado (que seguramente es más amplio que el grupo de científicos investigando en algún campo de conocimiento específico)

Estas publicaciones, vale aclarar, son generalmente de acceso restringido. Normalmente sólo acceden otros científicos que trabajan en instituciones que pagaron la subscripción a la revista correspondiente. En algunos casos, las revistas ofrecen a los autores la opción de pagar para que sus artículos queden en libre disponibilidad (de esta forma el costo de la investigación crece ya que no sólo hay que invertir para investigar sino también para que otros se enteren de los resultados alcanzados). Finalmente, existe un número creciente de revistas de libre acceso (gratuito para autores y lectores) pero no están entre las más reconocidas y entonces el investigador tiene poco incentivos para publicar allí.

Entonces, si bien publicar en revistas arbitradas por evaluación de pares de alto factor de impacto responde al esquema de incentivos y funciona para dar a conocer los resultados a la comunidad científica, no es una manera eficaz para difundir resultados a todo público potencialmente interesado.

Los riesgos de difundir

Imaginemos entonces por caso que un equipo de investigación llega a un resultado urgente y trascendente desde el punto de vista social. Por ejemplo, descubre que cierto agroquímico de uso extendido tiene efectos dañinos para la salud ¿Sería éticamente correcto que dichos resultados no se dieran a conocer inmediatamente? Supongamos que el equipo en cuestión, dada la urgencia del caso, hubiera dado a conocer resultados inmediatamente a los medios o en las redes sociales para luego encarar la tediosa tarea de publicar en revistas científicas.  Sin duda, para el equipo científico, ésa sería una jugada un poco osada.

Desde que la carrera científica se profesionalizó, sin una publicación que lo avale, un resultado científico no es visto como hecho verdadero. Es más, como las revistas exigen resultados originales, llegar primero es fundamental. Dar a conocer los resultados antes de publicarlos pone en riesgo tanto la reputación como la posibilidad de publicar en el futuro esos resultados en revistas científicas de alto impactoy así progresar en la carrera.

Además, ¿cómo podríamos los usuarios confiar en la calidad de lo que se publica?

Revisión y calidad

Uno de los argumentos en favor del sistema actual, es que el mismo garantiza ciertos niveles de calidad de los resultados científicos que finalmente se difunden. Sin embargo, el proceso de arbitraje dista mucho de ser objetivo. Quienes han mandado artículos a revisión o han actuado como revisores o editores de revistas, saben que la opinión de los referees de un mismo artículo no siempre coincide y muchas veces es radicalmente opuesta.

Los reportes que hacen los revisores en buena medida dependen de variables como su edad, su predisposición a revisar el documento, su personalidad, su conocimiento sobre el tema en cuestión, y su posición político-ideológica respecto a las hipótesis que se discuten. El proceso de revisión puede funcionar como un filtro de calidad, pero ciertamente no siempre lo hace.

Por otro lado, los reportes no son públicos, lo cual impide que el lector pueda reflexionar por sus propios medios sobre la validez de los cuestionamientos al manuscrito. El estudio mencionado más arriba estimó que se pierden 15 millones de horas/hombre al año en revisión de artículos. Se le podría dar un uso más valioso a este tiempo si todos pudiéramos conocer esos comentarios.

Mucho más arbitrario aún son los índices de factor de impacto. En primer lugar, porque la metodología de cálculo y los datos utilizados no son transparentes. En segundo lugar, porque la cantidad de citas promedio que reciben los artículos de una revista durante los dos años anteriores depende enormemente de la estrategia editorial. En tercer lugar, porque esto poco refleja la calidad científica de la investigación en cuestión, ni cuál es su trascendencia social.

Nuevos consensos

Afortunadamente, en los últimos años fueron ganando visibilidad y apoyo nuevos consensos, herramientas de políticas y prácticas que anticipan vientos de cambio.

Entre ellas en Argentina se está experimentando con algunas herramientas como la obligación de poner en libre disponibilidad las publicaciones de científicos financiados con fondos públicos según lo establece la Ley Nacional de Creación de Repositorios Digitales Institucionales de Acceso Abierto sancionada por el Congreso en 2013 (aún no reglamentada).

Además en el mundo también empiezan a proponerse métricas alternativas de evaluación de impacto de la investigación científica. Estos indicadores se conocen como altmetricsy se construyen en base a citas a publicaciones científicas que se realizan en la Web. Los que existen hoy día toman fuentes de información tales como las redes sociales más importantes incluyendo Facebook, Twitter, Google+,LinkedIn, Weibo, etc.; Wikipedia; Agregadores de noticias; Blogs de ciencia; Medios de comunicación tradicionales; Gestores de referencias como Mendeley y CiteUlike; documentos de política internacionales como aquellos que publica el National Health Service de Gran Bretaña.

Estas mediciones resultan complementarias a la información tradicional sobre citas en las que se basa el sistema tradicional de evaluación y reputación de las investigaciones en muchos países. Aquéllas más orientadas a captar impacto en la comunidad científica y éstas mejor preparadas para dar cuenta del impacto de la investigación en audiencias más amplias que incluyen científicos pero también aficionados a la ciencia, gente interesada en los avances de conocimientos en ciertas áreas de investigación por varios motivos (por ejemplo gente que se encuentra bajo algún tipo de tratamiento médico y quiere investigar los últimos avances de la ciencia), responsables de la política pública y público en general.

Existe mucho espacio para mejorar estas mediciones alternativas. En primer lugar, cabría regionalizar las fuentes que se consultan incluyendo también medios, documentos de política y gestores de referencias más difundidos localmente. En segundo lugar, hoy por hoy las fuentes de información son más adecuadas para disciplinas biomédicas o de ciencias exactas pero podría extenderse también hacia otros campos. En tercer lugar, también podría extenderse la medición de impacto para captar no sólo citas a los artículos ya publicados sino referencias a los autores.

De todas maneras, aun con sus imperfecciones, este sistema alternativo de medición de impacto consigue captar mejor el interés que las investigaciones despiertan en una audiencia más amplia. Pongamos un ejemplo doméstico. ¿Cuál imaginan ha sido el tema de investigación realizada en Argentina en los últimos diez años que tuvo mayor impacto según las métricas alternativas?

Respuesta: los estudios que demuestran la toxicidad del uso de glifosato.Este es un herbicida que se utiliza ampliamente para producir soja. Argentina está entre los países del mundo que más consumen herbicidas. Es claro que este tipo de investigaciones atrae mucho interés social.

Para mostrar algunos números que sean comprensibles para el lector. Miremos solo una de las fuentes de altmetric: Facebook. El artículo que más se ha compartido en Facebook (2225 usuarios de Facebook mostraron en su muro este artículo) fue publicado en 2014 y estudia el impacto que el herbicida tiene sobre poblaciones que no son el objetivo del herbicida (estudia lombrices) y encuentra que las expone a riesgo de extinción. El segundo estudio encuentra efectos adversos en el metabolismo de ciertos moluscos y fue publicado en 2013 y compartido 374 veces. Sólo este último recibió alguna cita (solo una) en otras revistas científicas.

Es cierto que ambos trabajos fueron publicados recientemente, y como ya dijimos los plazos de publicación y más aun de citas en el sistema científico son muy largos (ciertamente más largos que en la web). Pero incluso en comparación dentro de su cohorte de publicación la atención que estos artículos han recibidos en revistas científicas está por debajo de la media.

Esta evidencia, si bien sólo ilustrativa, es bastante sugerente. El tipo de problemas y de resultados de investigación que más importa en la sociedad no siempre coincide con el que genera interés para el sistema científico. El uso del glifosato resulta un claro ejemplo.

Abrir el juego

Para acercar la ciencia a la sociedad, es necesario hacer abrir el juego. Se pueden pensar diferentes herramientas como por ejemplo:promover la publicación en revistas de acceso abierto;difundir los comentarios de revisores especializados;y, en general, mejorar los sistemas de evaluación usando criterios diversos, transparentes y abiertos (ver por ejemplo el Manifiesto de Leiden para métricas de investigación)

En la era digital, ¿no sería mucho más justo dar a conocer inmediatamente todos los resultados y dejar que los lectores en base a comentarios abiertos de revisores especializados, críticas de diferentes actores y citas/utilización de ideas o datos decidieran sobre la calidad de la publicación?¿Cuál es la lógica de que sólo dos, tres, cinco personas, elegidas con criterios poco transparentes, se agencien el derecho de definirprivadamente qué resultados son válidos para publicarse? Además, ¿cuál es la racionalidad de un esquema de incentivos que corre por un callejón diferente al que tiene acceso la sociedad?  ¿Para qué invertimos recursos públicos en producir resultados científicos a los que la sociedad tiene acceso tarde y restringido?

Un principio general debería ser la transparencia y la participación. Por un lado, las decisiones que se toman respecto de cómo evaluar desempeño y progresar en la carrera debería ser pública y transparente. Por otro lado, los esquemas de incentivos deberían promover una mayor participación de los científicos en la sociedad (por ejemplo, promoviendo esfuerzos de comunicación de la ciencia) y de la sociedad en la ciencia (por ejemplo, incentivando una mayor participación de los actores sociales en la definición de agendas).