La Psicología no es científica en la mitad de los casos

I

Daniel Mediavilla, "Más de la mitad de los estudios en psicología no se pueden repetir", El País, 27 de agosto de 2015:

Un equipo internacional de científicos intenta replicar 100 artículos relevantes y solo logra hacerlo en un 39% de los casos y con resultados menos significativos que los originales. Hasta el 95% de la investigación en psicología pueden ser falacias sin rebatir.

A principios de 2011, el psicólogo social holandés Diederik Stapel publicó en la prestigiosa revista Science un artículo con resultados llamativos: los entornos desordenados favorecen los estereotipos y la discriminación. Pocos meses después, una investigación encabezada por Pim Levelt, antiguo presidente de la Academia Holandesa de Ciencias, concluyó que Stapel se había inventado los resultados de su trabajo, desde la recopilación de datos hasta las encuestas que apoyaban sus conclusiones. No era la primera vez que lo hacía y, poco a poco, decenas de artículos del mismo autor fueron retirados por las revistas que los habían publicado. Estudios que aseguraban que a veces el fracaso hace sentir mejor, que los anuncios de belleza hacen sentir feas a las mujeres o que el poder hace más probable la infidelidad, eran fruto de la mente de un trilero y no de un trabajo científico honesto. En una entrevista con The New York Times, el investigador holandés trató de explicar sus motivos. Él amaba la psicología social, pero siempre se había sentido frustrado por el caos de los datos obtenidos en los experimentos, con los que era raro llegar a conclusiones claras. Su obsesión por la elegancia y el orden le había llevado a inventar resultados atractivos que gustaban en las revistas científicas. Este tipo de escándalos, que también se han producido en otros campos, pero preocupan especialmente en la ciencia psicológica, iniciaron un debate sobre la validez de los controles en este campo de la ciencia.

Aunque casos como el de Stapel son extremos, la selección de datos para mostrar resultados más atractivos y más fáciles de colocar en las revistas científicas es frecuente. En un artículo que se publicó en 2009 en la revista PLoS One, Daniele Fanelli, de la Universidad de Edimburgo, revisó una serie de estudios en los que se preguntaba a los investigadores si ellos o sus colegas había manipulado sus propias investigaciones para adaptarlos a sus intereses. Los resultados mostraban que un 1,97% de los científicos explicaba que había inventado, falsificado o modificado datos o resultados al menos en una ocasión, y el 33,7% reconocía otras prácticas reprobables aunque menos graves. Cuando se les preguntaba por el comportamiento de los compañeros, hasta un 14,1% afirmaba conocer casos de falsificación de datos y un 72% decía haber sido testigo de otros actos cuestionables.

Este tipo de actitudes, alimentadas por la presión por publicar sus investigaciones, han sembrado dudas sobre la posibilidad de replicar estudios en psicología, algo fundamental para que se la considere una ciencia seria. Los propios investigadores no tienen incentivos para ser fieles del todo a los datos ni para tratar de repetir los resultados de sus colegas, lo que provoca un círculo vicioso. Las revistas científicas prefieren resultados distintos y sorprendentes frente a trabajos que repliquen otros ya conocidos, y todos estos factores facilitan que la mala conducta o las pequeñas triquiñuelas pasen desapercibidos.

Afrontar el problema

Esta semana, en la revista Science, la misma que publicó el estudio fraudulento de Stapel, se publica el mayor trabajo conjunto para replicar estudios científicos en psicología. Un grupo de 270 investigadores de todo el mundo intentó repetir los resultados de 100 artículos relevantes en la materia. Pese a contar con la colaboración de los propios autores para conocer su metodología y las condiciones en las que obtuvieron sus resultados, solo fue posible obtenerlos de nuevo en un 39% de los casos. En algunos casos, los resultados obtenidos fueron los contrarios a los de la investigación de referencia. Según comentan los autores del trabajo, liderados por Brian Nosek, investigador de la Universidad de Virginia (EE UU), que no fuese posible replicar los resultados de un estudio no significa necesariamente que sean erróneos, pero son una señal de que se han de realizar cambios para facilitar que se pueda hacer.

En un artículo que también aparece en Science, el biólogo y periodista John Bohannon, especializado en cuestionar los controles de calidad a los que se someten los artículos científicos, afirma que “estos resultados apoyan la idea de que los científicos y los editores de las revistas científicas están sesgados -conscientemente o no- en lo que publican”. Además, señala que, incluso en los artículos que pudieron ser replicados, los efectos observados eran mucho menos claros que en los experimentos originales.

“Los científicos quieren producir conocimiento fiable, pero también necesitan producir resultados que les ayuden a mantener su trabajo como investigadores”, ha afirmado Nosek, que forma parte de una iniciativa para mejorar el problema que muestran en su artículo. “Para tener éxito en la ciencia, los investigadores necesitan publicar, y algunos resultados son más fáciles de publicar que otros, en particular aquellos que son novedosos y apuntan en direcciones nuevas y emocionantes”, continúa. Por este motivo, muchos científicos prefieren perseguir líneas de investigación novedosas sin tener tanto en cuenta que sus resultados sean reproducibles. En casos extremos, la falta de incentivos para ser fiel a los datos caóticos que suelen surgir del trabajo científico produce fenómenos como el de Stapel

II

Javier Sampedro, "Un descubrimiento irrepetible. Más de la mitad de los estudios en psicología no se pueden repetir", en El País, 27 de agosto de 2015:

Es probable que el lector haya oído hablar de los premios IgNobel (juego de palabras entre los premios Nobel y la palabra inglesa ignoble (innoble), una iniciativa mordaz de los chicos de Harvard donde las investigaciones más grotescas del año pugnan por recibir su merecido. Pero la decana de las revistas satíricas de este género es The Journal of Irreproducible Results (la comicidad se pierde al traducirlo al español, y por otra parte no hace falta), fundada en 1955 y fuente desde entonces de risión e inspiración para científicos y gente normal. En ciencia solo hay una cosa peor que un resultado falso, y es un resultado irreproducible. Del primero sabes que es mentira. Del segundo, ni eso.

En ciencia solo hay una cosa peor que un resultado falso, y es un resultado irreproducible

La necesidad irrenunciable de que los resultados científicos sean reproducibles es una de las grandes causas de que los papers (los artículos técnicos) suelan ser unos ladrillos ilegibles. “Escríbelo para que lo entienda mi abuela” es una cosa. “Escríbelo para que lo reproduzca mi abuela” es justo la contraria. Ahí tiene que estar todo: cómo elegiste tu muestra de población y por qué, qué sesgos puede incorporar sin que te hayas dado cuenta, qué operadores estadísticos has elegido, a quién le has comprado los reactivos y con qué farmacéuticas tienes algún interés compartido. Todo lo necesario para que los demás científicos puedan reproducir tus resultados tiene que estar ahí, allanando tu futuro pero arruinando tu prosa. Un resultado irreproducible no es ciencia, sino rumor.

Pero eso es solo la teoría. En la práctica, los científicos que dedican su tiempo a reproducir los resultados de los demás son muy raros, en el sentido de infrecuentes. Por supuesto, si inventas una técnica rompedora que aumentará en órdenes de magnitud la eficacia de una técnica que utiliza todo el mundo, todo el mundo se tirará encima de tu protocolo un minuto después de que lo publiques. Pero el resto de la producción científica –el 100%, redondeando un poco— pasará inescrutada por el filtro tupido de la confianza general. Nadie intentará reproducirlo, y por tanto nadie comprobará si es ciencia o rumor.

Es obvio que algo va mal. Tan mal como que la mitad de la psicología publicada no es ciencia

O así era hasta ahora. Un esfuerzo inédito y loable, llamado Proyecto Reproducibilidad, se ha tomado en serio el asunto y ha empezado a plantear, e identificar, una serie de –graves— problemas del sistema. En la entrega actual, 270 científicos han intentado reproducir 100 experimentos publicados en los mejores journals de psicología experimental, y solo han conseguido reproducir la mitad. Nadie dice que eso sean exactamente “fraudes científicos” –yo tampoco—, pero es obvio que algo va mal. Tan mal como que la mitad de la psicología publicada no es ciencia. ¿No creen que esto es un problema?