2.6 Otras herramientas

Sí bien los preregistros son una de las herramientas que más ha ido tomando protagonismo para promover la transparencia, existen otras. Específicamente, queremos mencionar dos de ellas: el modelo de registered reports (en español, informes registrados) y la transparency checklist (en español, lista de transparencia).

2.6.1 Registered Reports

El modelo de registered reports es una alternativa al modelo tradicional de publicación. Consiste en que el artículo atraviesa una revisión por pares en etapas tempranas de la investigación, específicamente previo a la recolección de datos. Esta práctica tiene por objetivo que el estudio sea evaluado por su innovación y calidad del diseño de investigación, más que por resultados impactantes (Chambers et al., 2015). Además, busca dejar sin efecto prácticas como el sesgo de publicación, p-hacking y HARKing, ya que no solamente existe una marca temporal que avala el diseño de investigación del estudio (como es el caso de un preregistro), sino que también existe un grupo de científicos anónimos que están de acuerdo con que el artículo es un aporte al conocimiento (Chambers, 2013; Marsden et al., 2018; Nosek & Lakens, 2014).

Los registered reports tienen dos características principales (Marsden et al., 2018). Primero, un manuscrito con la justificación del estudio, lo que incluye una introducción, revisión de antecedentes y una pregunta de investigación, dando la posibilidad de una aceptación preliminar (IPA, por sus siglas en inglés In principle acceptance). La segunda característica es que el IPA no puede revocarse en base a los resultados del estudio, esto evita que trabajos con resultados no significativos no sean publicados y así combatir el sesgo de publicación. Relacionado a ambas características, los informes registrados pasan por dos etapas de revisión, la primera es la del manuscrito, siendo este el determinante de se el estudio se acepta o no, y la segunda revisión que se da posterior a terminar la recolección y análisis de datos. El modelo, en comparación al sistema tradicional de publicaciones, se puede ver en la Figura N° 2.9.

Método convencional y de registered reports para publicación cientifica

Figura 2.9: Método convencional y de registered reports para publicación cientifica

Para enviar un artículo bajo el modelo de registered reports, primero se debe tener en conocimiento cuáles son las revistas que cuentan con este tipo de revisión. El Centro para la Ciencia Abierta cuenta con una lista actualizada de revistas aquí. Una vez escogida una revista, el proceso no es tan distinto al método convencional, en el sentido de que los investigadores envían su manuscrito con la justificación del estudio y este puede ser aceptado o rechazado por el editor, ya sea directamente o después de la corrección de algunos comentarios. Una vez se cuenta con el IPA y se efectúa la revisión en la segunda etapa, los revisores se aseguran de que el estudio ha seguido el plan de análisis inicialmente planteado y si sus conclusiones tienen sentido de acuerdo a los datos y resultados obtenidos, así como también que toda desviación del plan original sea debidamente justificada (Stewart et al., 2020). Desviaciones muy sustanciales y/o que no sean debidamente justificadas pueden conllevar el rechazo del artículo, aunque puede seguir el proceso en el método convencional de publicación (Stewart et al., 2020).

2.6.2 Transparency Checklist

La transparency checklist es una herramienta complementaria elaborada por Aczel et al. (2020) que busca acompañar el proceso de reportar un estudio, contribuyendo a que estos sean más transparentes. Esta lista ha sido elaborada específicamente para investigadores de las ciencias sociales y del comportamiento que trabajan con datos primarios, aunque puede ser útil para otros enfoques y disciplinas. La lista consta de 36 items divididos en cuatro categorías: preregistro, método, resultados y discusiones y accesibilidad de datos, donde cada ítem refiere a alguna característica de un reporte transparente, preguntando si ha sido efectuada o no, es decir, las respuestas posibles de cada ítem son “Sí”, “No” y “N/A”. Existe una versión más corta de 12 items, los cuales son los siguientes:

Sección de preregistro:

  1. Antes de analizar el conjunto completo de datos, se publicó un prerregistro con sello de tiempo en un registro independiente de terceros para el plan de análisis de datos.

  2. El estudio fue registrado…

  • antes de que cualquier dato fuera recolectado
  • después de que algunos datos fueron recolectados, pero antes de explorarlos
  • después de que todos los datos fueron recolectados, pero antes de explorarlos
  • después de explorar los datos, pero antes de que cualquier análisis estadístico fuera efectuado
  • después de efectuar algunos análisis estadísticos, pero no todos
  • en otro momento, explicar:
  1. El análisis estadístico previsto para cada pregunta de investigación (esto puede requerir, por ejemplo, información sobre la unilateralidad de las pruebas, los criterios de inferencia, las correcciones para pruebas múltiples, los criterios de selección de modelos, las distribuciones previas, etc.).

Sección de método

El manuscrito describe completamente…

  1. la justificación del tamaño de la muestra utilizado (por ejemplo, un análisis de potencia a priori).

  2. el diseño, los procedimientos y los materiales del estudio para permitir una réplica independiente.

  3. las medidas de interés (por ejemplo, la amabilidad) y sus operacionalizaciones (por ejemplo, un cuestionario que mide la amabilidad).

  4. ¿algún cambio en el prerregistro (como cambios en los criterios de elegibilidad, en los límites de pertenencia al grupo o en los procedimientos experimentales)?

Sección de resultados y discusión

El manuscrito…

  1. distingue explícitamente entre la “confirmación” (es decir, preestablecido) y “exploratorio” (es decir, no preestablecidos).

Sección de disponibilidad de datos, código y materiales

Se han hecho públicas las siguientes…

  1. los datos (procesados) en los que se han basado los análisis del manuscrito.

  2. todo el código y el software (que no esté protegido por derechos de autor).

  3. todas las instrucciones, los estímulos y los materiales de las pruebas (que no estén protegidos por derechos de autor).

  4. El manuscrito incluye una declaración sobre la disponibilidad y localización de todos los elementos de la investigación, incluidos los datos, materiales y códigos pertinentes para su estudio.

Tanto la versión completa de 36 items, como la recortada de 12 están disponibles para rellenar en línea. Aquí se puede encontrar la lista online, es una aplicación de uso simple, además que permite generar el reporte final de manera automática.

Referencias

Aczel, B., Szaszi, B., Sarafoglou, A., Kekecs, Z., Kucharský, Š., Benjamin, D., Chambers, C. D., Fisher, A., Gelman, A., Gernsbacher, M. A., Ioannidis, J. P., Johnson, E., Jonas, K., Kousta, S., Lilienfeld, S. O., Lindsay, D. S., Morey, C. C., Munafò, M., Newell, B. R., … Wagenmakers, E.-J. (2020). A Consensus-Based Transparency Checklist. Nature Human Behaviour, 4(1), 4-6. https://doi.org/10.1038/s41562-019-0772-6
Chambers, C. D. (2013). Registered Reports: A New Publishing Initiative at Cortex. Cortex, 49(3), 609-610. https://doi.org/10.1016/j.cortex.2012.12.016
Chambers, C. D., Dienes, Z., McIntosh, R. D., Rotshtein, P., & Willmes, K. (2015). Registered Reports: Realigning Incentives in Scientific Publishing. Cortex; a Journal Devoted to the Study of the Nervous System and Behavior, 66, A1-2. https://doi.org/10.1016/j.cortex.2015.03.022
Marsden, E., Morgan-Short, K., Trofimovich, P., & Ellis, N. C. (2018). Introducing Registered Reports at Language Learning: Promoting Transparency, Replication, and a Synthetic Ethic in the Language Sciences. Language Learning, 68(2), 309-320. https://doi.org/10.1111/lang.12284
Nosek, B. A., & Lakens, D. (2014). Registered Reports: A Method to Increase the Credibility of Published Results. Social Psychology, 45(3), 137-141. https://doi.org/10.1027/1864-9335/a000192
Stewart, S., Rinke, E. M., McGarrigle, R., Lynott, D., Lunny, C., Lautarescu, A., Galizzi, M. M., Farran, E. K., & Crook, Z. (2020). Pre-Registration and Registered Reports: A Primer from UKRN. OSF Preprints. https://doi.org/10.31219/osf.io/8v2n7
Laboratorio de Ciencia Social Abierta (LISA) del Centro de Estudios de Conflicto y Cohesión Social (COES)
Para más información puedes contactárnos en nuestro correo