Workshop ELSOC-LISA Septiembre 2022

.right[
![:scale 5%](https://coes.cl/wp-content/uploads/COES_Logo_sello1.png)
]
![:scale 95%](https://github.com/lisa-coes/lisa-book/blob/main/images/lisa.png?raw=true)

### .medium[**.black[Laboratorio de Investigación Social] .red[Abierta]]**

### [.red[lisa-coes.com]](https://lisa-coes.com/)

---

---
class: inverse
.right[
# **.orange[Programa]**
]
<br>
## A. Ciencia abierta: Crisis y herramientas

## B. Pre-registros

---
class: inverse
.right[
# **.orange[Programa]**
]
<br>
## A. **.yellow[Ciencia abierta: Crisis y herramientas]**

## B. Pre-registros

---
class: roja, middle, right

### 1. Transparencia
### 2. Reproducibilidad 
### 3. Acceso
]

---
<br>

![](flujo.png)
---
<br>

![](flujo-acceso.png)
---
class: middle, center

.pull-left[
<br>
<br>
<br>
<br>
# Barreras de pago
]
.pull-right[
.left[
![:scale 70%](https://localist-images.azureedge.net/photos/723383/huge/3b15ca9bd709e6738e42326fa3f35ff4a3357bb9.jpg)
]
]

---
# Márgenes de ganancia

---
.pull-left-narrow[
<br>
![](https://i.pinimg.com/originals/d3/93/93/d39393c978cec32e2598c1d1261ace4f.jpg)
]

### Modelo actual de publicación científica:
- las vacas hacen leche (se ordeñan solas)

- otras vacas revisan la leche (gratis)

- las vacas le pagan al granjero para distribuir la leche

- luego el granjero le vende la leche de vuelta a las vacas
]

---
<br>

![](flujo-rep.png)

---
## ¿Qué porcentaje de los estudios publicados son reproducibles?

.pull-left-wide[
![:scale 95%](reproducibility_science.png)
]
.pull-right-narrow[
<br>
<br>
<br>
<br>
<br>
<br>
... alrededor de un **40%!** (... varía por disciplina)
]

---
class: center

![](nature-reproducibility-crisis.jpeg)

.small[
Fuente: [Baker (2016) 1,500 scientists lift the lid on reproducibility - Nature](https://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970)]

---
<br>
 
![](flujo-trans.png)

---
<br>
 
![](flujo-herramientas.png)

---
class: middle center

![:scale 40%](christensen.png)

---
class: middle center
Más info:

#lisa-coes.com

---
class: inverse
.right[
# **.orange[Programa]**
]
<br>
## A. Ciencia abierta: Crisis y herramientas

## B. .yellow[Pre-registros]

---
class: roja, middle, right

# Pre-registros

]

### 1. Prácticas cuestionables de investigación
### 2. Pre-registros
### 3. Plantillas y OSF
]

---
class: roja, right

# Pre-registros

]

### 1. .yellow[Prácticas cuestionables de investigación]
### 2. Pre-registros
### 3. Plantillas y OSF
]

---
## El caso de Pedro

- Pedro accede una base de datos con información sobre trabajadores sindicalizados en distintas empresas del país.

- .bold[Sin tener una hipótesis previa], correlaciona  las variables: .green[participación en huelga] (1), .red[tiempo de afiliación sindical] (2) y .orange[tipo de contrato] (3)

- Observa que hay una correlación positiva entre tiempo sindicalizado y participación en huelgas (_r_ = 0,32)

- Posterior a mirar los datos establece una hipótesis: a mayor .red[tiempo de afiliación sindical] (x) existe mayor .green[participación en huelgas] (y)

---

- .red[No encuentra] resultados esperados en base a su hipótesis (tiempo de afiliación sindical impacta positivamente en la participación en huelgas)

- Ajusta la variable tiempo, .bold[eliminando casos] que llevan .red[menos de 2 años sindicalizados en la empresa], obteniendo una asociación significativa con probabilidad de error _p_ <0.05

- Finalmente .bold[excluye] a trabajadores a .orange[plazo fijo], manteniendo solo aquellos con contrato indefinido, obteniendo un _p_ <0.01

# .center[🤔?]
---

las .red[prácticas cuestionables de investigación] refieren a las:

>  _"acciones que violan los valores tradicionales de la empresa de investigación y que pueden ser perjudiciales para el proceso de investigación"_ (National Academies of Science 1992 en Steneck, 2006, p. 58).

---
# Algunas consecuencias

- el problema *no es la exploración de datos*, sino su uso en reporte selectivo de resultados de investigación

- incrementa la posibilidad de rechazar erróneamente `\(H_0\)`

- exageraciones de efectos estimados, perjudicando la replicabilidad

- se confirma lo que uno está buscando, no lo que entregan los datos (y pierde sentido el recolectar datos, y hacer investigación empírica)

---
class: roja, right

# Pre-registros

]

### 1. Prácticas cuestionables de investigación
### 2. .yellow[Pre-registros]
### 3. Plantillas y OSF
]

---
class: middle

## ¿Qué es un pre-registro?

_Un .bolder[pre-registro] es una marca .red[temporal] que busca dar cuenta del diseño de una investigación: .orange[(1) principales hipótesis], .orange[(2) recolección de datos] y .orange[(3) plan de análisis.]_

---
# Características de un pre-registro

- se crea un registro permanente y disponible del plan del estudio .orange[antes de mirar los datos]

- establece una fecha de publicación

- accesible y con opción de resguardo de anonimato de autores (p.ej. OSF)

- .bold[objetivo principal:] diferenciar aspectos especificados a priori (hipótesis y análisis) de aquellos más exploratorios

---
# Ventajas de pre-registros

- eficiencia en el análisis

- mantener el foco en la .bold[teoría]

- .red[no impide explorar], solo diferenciar .orange[intuiciones exploratorias] de .green[ hipótesis confirmatorias]]

- .bold[Encontrable]: se genera un .blue[.bold[DOI]] que permite citar

- Puede evitar conflictos por co-autorias

- Evitar situaciones de plagio

---

#  Importancia de las hipótesis confirmatorias

* la evidencia previa e hipótesis guiadas por teoría:
--
  
  * permite delimitar correctamente el .orange[fenómeno a explicar] (_explanandum_) y
  
  * establecer cuál(es) conceptos/variables lo explican (_explanans_)
  
  * la .red[discusión] de resultados abre el camino para investigaciones posteriores

---
# Tipos de preregistro

- **Preregistro (sin revisión)**: simplemente detallar hipótesis, datos y análisis y registar en repositorio apropiado

- **Reporte registrado (con revisión)** : 
  - se somete a revisión en revista que permita esta opción
  - de ser aceptado, se publicará independiente de sus resultados
  - permite lidiar con el [.bold[sesgo de publicación]](https://lisa-coes.github.io/lisa-book/por-qu%C3%A9.html#pr%C3%A1cticas-cuestionables-de-investigaci%C3%B3n-qrp)

- **Reporte preregistrado de replicación**: para estudios de replicación (misma hipótesis y método, distintos datos)

---
class: roja, right

# Pre-registros

]

### 1. Prácticas cuestionables de investigación
### 2. Pre-registros
### 3. .yellow[Plantillas y OSF]
]

---
## Algunos repositorios de pre-prints

* [**Open Science Framework**](https://osf.io/) - la más ampliamente aplicable en las ciencias sociales

* [**AsPredicted.org**](https://aspredicted.org/) - Utilizado principalmente en el ámbito de la psicología

* [**AEA Registry**](http://www.socialscienceregistry.org/) - Se utiliza principalmente en economía

* [**EGAP**](https://egap.org/registry/)  - Ciencia Política principalmente

Fuente: [meta-meta-resources.org](https://meta-meta-resources.org/running-studies/preparation/pre-reg-repos/)

---
## Plantillas de pre-registro

<table class="table table-striped table-bordered table-condensed table-responsive" style="font-size: 14px; width: auto !important; margin-left: auto; margin-right: auto;">
   <thead>
      <tr>
         <th style="text-align:left;">
            Plantilla
         </th>
         <th style="text-align:left;">
            Descripción
         </th>
         <th style="text-align:left;">
            Nombre
         </th>
      </tr>
   </thead>
   <tbody>
      <tr>
         <td style="text-align:left;vertical-align: middle !important;" rowspan="2">
            Genéricas
         </td>
         <td style="text-align:left;vertical-align: middle !important;" rowspan="2">
            Se pueden usar para cualquier tipo de estudio, contienen preguntas generales. Las más conocidas son AsPredicted y OSF Estándar.
         </td>
         <td style="text-align:left;">
            <a href="https://aspredicted.org/" style="     ">AsPredicted</a>
         </td>
      </tr>
      <tr>
         <td style="text-align:left;">
            <a href="https://osf.io/preprints/metaarxiv/epgjd/" style="     ">OSF Standard</a>
         </td>
      </tr>
      <tr>
         <td style="text-align:left;">
            Datos primarios
         </td>
         <td style="text-align:left;">
            Las plantillas genéricas son suficientes para este tipo de estudios. Sin embargo, existe una plantilla en particular que se utiliza en el caso de que el preregistro del estudio se haya hecho en un documento a parte y no en OSF. Esta plantilla registra la forma en la que se recolectaron los datos.
         </td>
         <td style="text-align:left;">
            <a href="https://osf.io/9j6d7/" style="     ">OSF-Standard Pre-Data Collection Registration</a>
         </td>
      </tr>
      <tr>
         <td style="text-align:left;">
            Datos secundarios
         </td>
         <td style="text-align:left;">
            Se utilizan cuando los datos a utilizar son secundarios, por ejemplo, bases de datos de encuestas o datos administrativos.
         </td>
         <td style="text-align:left;">
            <a href="https://osf.io/p26rq/" style="     ">Template Preregistration of Preexisting Data</a>
         </td>
      </tr>
      <tr>
         <td style="text-align:left;vertical-align: middle !important;" rowspan="2">
            Replicación
         </td>
         <td style="text-align:left;vertical-align: middle !important;" rowspan="2">
            Se utilizan cuando el objetivo de un estudio es la replicación de otro estudio. Existe una plantilla para antes de elaborar la replicación y otra para después.
         </td>
         <td style="text-align:left;">
            <a href="https://osf.io/4jd46/" style="     ">Replication Recipe: Preregistration</a>
         </td>
      </tr>
      <tr>
         <td style="text-align:left;">
            <a href="https://osf.io/9rp6j/" style="     ">Replication Recipe: Post-Completion</a>
         </td>
      </tr>
      <tr>
         <td style="text-align:left;">
            Registered reports
         </td>
         <td style="text-align:left;">
            Se utilizan cuando un artículo ha pasado la primera revisión por pares bajo el modelo de registered reports.
         </td>
         <td style="text-align:left;">
            <a href="https://osf.io/gm36s/" style="     ">Registered Reports Protocol</a>
         </td>
      </tr>
   </tbody>
</table>

Fuente: [lisa-coes.com/01componentes/](https://lisa-coes.com/01componentes/)

---

## Ejemplo plantilla AsPredicted

---

## Ejemplo plantilla datos secundarios

]

## Open Science Framework

- .bold[entorno] de apertura de proyectos de investigación completos (más allá de los pre-registros)

- se pueden pre-registrar estudios asociados a un proyecto ya generado en OSF, o de manera independiente

- disponibilidad de [múltiples plantillas de pre-registro](https://osf.io/zab38/wiki/home/)
]

---

## Pre-registrar un estudio en el OSF

- .red[Paso 0:] Crear un usuario en el [Open Science Framework](https://osf.io/)

.center[[![:scale 85%](osf-prereg-paso0.PNG)](https://accounts.osf.io/login?service=https://osf.io/dashboard/)]

---

- .red[Paso 1:] Ingresar al sitio web y seleccionar .green[.bold[OSFREGISTRIES]]:

---
* .red[Paso 2:] Hacer click en .blue[.bold[Add New]] para crear una nueva entrada

---
* .red[Paso 3:] Configurar la nueva entrada

---
* .red[Paso 4:] Completar Metadata

---
* .red[Paso 5:] Completar campos de pre-registro y publicar

---
##  Anonimizar y compartir

* Es posible anonimizar para enviar el artículo a revisión (peer review)

* Esto permite que el pre-registro sea revisado sin identificar autorías

* Luego, es posible desanonimizar el pre-registro y mostrar autorías
]

.pull-right-narrow[
<br><br> 
.center[![:scale 100%](https://pubs.rsc.org/en/Content/Image/GA/D1SC90122B)]
]

---

---
# Algunos ejemplos ...

* Castillo, J. C., Salgado, M., Carrasco, K. (2022, Junio 22). Perception of meritocracy and redistributive preferences at school. [https://doi.org/10.17605/OSF.IO/UFSDV](https://doi.org/10.17605/OSF.IO/UFSDV)

* Miranda, D., Iturra, J. C., & Herrera Leighton, A. (2021, December 30). Participación ciudadana juvenil: entre la Reproducción social y la socialización política. [https://doi.org/10.17605/OSF.IO/5N6J4](https://doi.org/10.17605/OSF.IO/5N6J4)

* Castillo, J. C., Miranda, D., Iturra, J. C., Meneses, F. J., & Venegas, M. (2021, January 29). La socialización de la meritocracia: el efecto de la familia y la escuela. [https://doi.org/10.17605/OSF.IO/FAZDX](https://doi.org/10.17605/OSF.IO/FAZDX)

* Maldonado, L., Castillo, J. C., Iturra, J. C., & Meneses, F. J. (2019, November 19). Does knowledge about inequality and poverty affects the perception of opportunities and meritocracy? An experimental test in Chile. [https://doi.org/10.17605/OSF.IO/3TEWB](https://doi.org/10.17605/OSF.IO/3TEWB)

* Castillo, J. C., Iturra, J. C., Meneses, F. J., & Maldonado, L. (2019, November 21). Perceptions and Preferences for Meritocracy Scale  (PPM-S). [https://doi.org/10.17605/OSF.IO/Z45Y2](https://doi.org/10.17605/OSF.IO/Z45Y2 )
]

---

# Referencias

- [Abril-Ruiz, A. (2019). Manzanas podridas: Malas prácticas de investigación y ciencia descuidada. 10.31234/osf.io/z82mh](10.31234/osf.io/z82mh)

- [Laboratorio Investigación Social Abierta](lisa-coes.com)

- [How To Properly Preregister A Study](http://datacolada.org/64)

- [Lindsay et al (2016) Research Preregistration 101.](https://www.psychologicalscience.org/observer/research-preregistration-101)

- [Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114
](https://www.pnas.org/content/115/11/2600)

- [OSF Preregistration resources](https://www.cos.io/initiatives/prereg)

]

---
class: front center
.right[
![:scale 5%](https://coes.cl/wp-content/uploads/COES_Logo_sello1.png)
]
![:scale 95%](https://github.com/lisa-coes/lisa-book/blob/main/images/lisa.png?raw=true)

### .medium[**.black[Laboratorio de Investigación Social] .red[Abierta]]**

### [.red[lisa-coes.com]](https://lisa-coes.com/)