Hay rumores en la selva de la neurociencia. Ha habido una reciente serie de papeles de alto perfil que han llamado la atención sobre las deficiencias metodológicas en los estudios de neuroimagen (por ejemplo, Ioannidis, 2011; Kriegeskorte et al., 2009; Nieuwenhuis et al, 2011). Esto es en respuesta a artículos publicados con regularidad que no respetan las normas metodológicas que se han establecido desde hace años.
Recientemente he estado revisando la literatura sobre imágenes cerebrales en relación con la intervención de los trastornos del lenguaje y me encontré con este ejemplo.Temple et al (2003) publicaron un estudio de fMRI de 20 niños con dislexia que fueron escaneadas antes y después de una intervención computarizada ( FastForword) diseñado para mejorar su lenguaje. El artículo en cuestión fue publicado en las Actas de la Academia Nacional de Ciencias, y en el momento de la escritura ha tenido 270 citas. Hice un control al azar de cincuenta de esos artículos que citan a ver si alguno había tomado nota de los problemas con el papel: sólo uno de ellos lo hizo. Los demás repitieron conclusiones de los autores, a saber:

1. La mejora de la formación del lenguaje oral y el rendimiento de lectura.
2. Después del entrenamiento, los niños con dislexia mostraron una mayor actividad en áreas cerebrales múltiples.
3. La activación cerebral en el temporo-parieta izquierdol y el giro inferior de la corteza frontal izquierda se hizo más similar a la de los niños normales en lectura.
4. Se observó una correlación entre una mayor activación en la corteza i temporo-parietal izquierda y la mejora en la capacidad de lenguaje oral.
Sin embargo, estas conclusiones no son válidas? Yo diría, porque:
No hubo grupo de control disléxico. Ver esta entrada de blog por qué esto es importante. Los resultados de las pruebas lingüísticas de los niños tratados mejoró de pre-test al post-test, pero en los ensayos adecuadamente controlados se ha encontrado el cambio equivalente en los controles no tratados (Strong et al. , 2011). Conclusión 1 no es válida.

Los autores presentaron los datos no corregidos enteros de activación cerebral. Esto no se dice explícitamente, pero puede deducirse de las puntuaciones z y p-valores.Russell Poldrack, que pasa a ser uno de los autores de este trabajo, ha escrito elocuentemente sobre esta subjetividad t: ” … es fundamental emplear correcciones precisas para múltiples pruebas, ya que un gran número de voxels en general será significativo por casualidad si no se corrige se utilizan las estadísticas. .. El problema de las comparaciones múltiples es bien conocido, pero por desgracia muchas revistas todavía permiten la publicación de resultados en función de todo el cerebro lcon estadísticas no corregidas. “Conclusión 2 se basa en corregir los valores de p y no es válido.

Para demostrar que los cambios en la activación de los disléxicos fue mayor que en los niños normales, habría que demostrar una interacción entre el grupo (disléxico vs típico) y el tiempo de prueba (pre-entrenamiento vs post-entrenamiento). Aunque un pequeño grupo de niños con aprendizaje típico de la lectura se puso a prueba en dos ocasiones, este análisis no se hizo. Conclusión 3 se basa en imágenes de activaciones de grupo en lugar de comparaciones estadísticas que tengan en cuenta la varianza dentro de los grupos. No válida.

No había a priori especificación de las medidas de resultado primarias fueron numerosas lcorrelaciones lingüísticas con la activación cerebral se calcula, sin corrección para comparaciones múltiples. La correlacióne en que los autores se centran en (Figura que se reproduce a continuación) es (a) sólo es significativa en una prueba de una cola en el nivel 0.05 (b), impulsados por dos valores atípicos (cercado), ambos de los cuales tenían una sustancial reducción en el izquierdo temporo-parietal de activación asociada con la falta de mejoría del lenguaje. Conclusión 4 no es válido. Por cierto, el cambio de activación media (eje Y) en este diagrama de dispersión es también no significativamente diferente de cero. No estoy segura de lo que esto significa, ya que es difícil interpretar el “tamaño del efecto” escala, que se describe como “la suma ponderada de las estimaciones de los parámetros de la regresión múltiple para la rima partido vs contraste pre-y post-entrenamiento”.


Figura 2 de Temple et al. (2003). Los datos de los niños disléxicos

¿Cómo es que este trabajo ha sido tan influyente? Sugiero que es en gran parte debido a la imagen de abajo, que resume los resultados del estudio. Esto fue reproducido en un artículo de revisión por el primer autor que apareció en Science en 2009. Esto ya ha tenido 42 citas. La imagen es tan convincente que ha sido utilizado también como material promocional para un programa de formación comercial distinta de la que se utilizó en el estudio. Como McCabe y Castel ( 2008) han señalado, frente a la imagen de un cerebro parece que la gente suspende su juicio normal.

No me gustaría destacar un papel específico para la crítica de este modo, pero una se siente impulsada a hacerlo, porque los problemas metodológicos eran tan numerosos y tan básicos. Por si sirve de algo, todos los periódicos que he visto en esta área han tenido por lo menos algunos de los mismos defectos. Sin embargo, en el caso de Temple et al (2003) el problema se ve agravado por los intereses declarados de dos de los autores, Merzenich y Tallal, quien co-fundó la empresa que comercializa la intervención FastForword. Uno hubiera esperado que un editor de la revista hubiera de someter el documento a un escrutinio especialmente estricto en estas circunstancias.
También podemos preguntar por qué aquellos que leen y citan este documento no han tomado nota de los problemas. Una razón es que los papeles de neuroimagen son complicadas y los métodos pueden ser difíciles de entender si no trabajan en el tema.
¿Existe una solución? Una sugerencia es que los revisores y lectores se beneficiarán de una original sencillo que enumere las principales cosas que debe buscar en una sección de métodos de un trabajo en esta temática. ¿Hay un experto en imágenes por ahí que podría escribir un documento, dirigido a aquellos que, como yo, que trabajan en esta área tan amplia, pero no son expertos en imagen? A lo mejor ya existe, pero no pude encontrar nada de eso en la web.
Los estudios de imagen son costosos y requieren mucho tiempo de hacer, especialmente cuando involucran a grupos clínicos de niños. Yo no soy uno de los que piensa que no son siempre vale la pena. Si una intervención es efectiva, la imagen puede ayudar a arrojar luz sobre su mecanismo de acción. Sin embargo, no creo que valga la pena hacer estudios mal diseñados de un número reducido de participantes para probar el mecanismo de acción de una intervención que no ha demostrado su eficacia en ensayos adecuadamente controlados. Tendría más sentido gastar los fondos de investigación en ensayos controlados adecuadamente que nos permitan evaluar qué intervenciones funcionan realmente.