Contrastación empírica

La contrastación empírica es el procedimiento por el que una hipótesis se somete al juicio de la observación: se deduce de ella algo que debería ocurrir, se va a mirar si ocurre y se decide en consecuencia. Es el momento en que una conjetura deja de ser una opinión y pasa a arriesgar algo, y todo el resto del método científico existe para prepararlo o para interpretarlo.

La operación tiene siempre la misma forma y conviene desmontarla, porque casi todos los errores viven en una de sus piezas. De la hipótesis sola no se deduce nada observable: hace falta añadirle supuestos auxiliares —que el instrumento mide lo que dice medir, que las condiciones son las normales, que la muestra representa a la población— y solo del conjunto sale una predicción concreta. Después se compara la predicción con el dato. Si coinciden, la hipótesis queda corroborada, palabra deliberadamente débil que significa que ha sobrevivido y no que se haya probado. Si no coinciden, algo del conjunto falla, y aquí está la trampa: la observación adversa refuta el paquete entero sin señalar qué pieza cede, de modo que siempre cabe salvar la hipótesis sacrificando un supuesto auxiliar. A veces eso es hacer trampa y a veces es el descubrimiento del siglo. La discusión completa está en el método hipotético-deductivo.

El caso que la filosofía de la ciencia ha convertido en manual es el de Ignaz Semmelweis en el Hospital General de Viena, hacia 1847. Dos pabellones de maternidad, un solo hospital, y en el primero morían de fiebre puerperal casi cinco veces más mujeres que en el segundo. Semmelweis fue eliminando hipótesis una por una comprobando sus consecuencias: si la causa fueran las «influencias epidémicas» del aire, afectarían igual a los dos pabellones y a la ciudad, y no lo hacían; si fuera el hacinamiento, el pabellón malo estaría más lleno, y estaba menos; si fuera la posición del parto o el paso del sacerdote con la campanilla, cambiarlos alteraría la mortalidad, y no la alteró. La conjetura buena llegó con la muerte de un colega que se había cortado durante una autopsia y presentó el mismo cuadro: en el primer pabellón atendían estudiantes de medicina que venían de la sala de disección; en el segundo, comadronas que no. Semmelweis dedujo la consecuencia —si es materia cadavérica transportada en las manos, lavarlas con cloruro cálcico debería bajar la mortalidad— y la mortalidad cayó del 12 % a menos del 2 % en un año. Es una contrastación de libro, con predicción arriesgada, resultado favorable y mecanismo desconocido; la teoría microbiana tardaría todavía dos décadas.

El otro caso clásico es John Snow y el cólera de Londres. El mapa de Broad Street, con una barra por cada muerte agrupándose alrededor de una bomba de agua, es la imagen célebre, y sin embargo Snow sabía que un racimo en un mapa admite explicaciones alternativas: puede ser el aire del barrio, la miseria del barrio, cualquier cosa del barrio. Su prueba fuerte fue la que llamó el gran experimento. En el sur de Londres dos compañías suministraban agua a las mismas calles, casa por casa entremezcladas, con vecinos de la misma clase y el mismo aire; una había trasladado su toma río arriba de las cloacas y la otra no. Snow recorrió los domicilios averiguando quién servía a cada uno y comparó la mortalidad: catorce veces mayor entre los clientes de la compañía que captaba agua contaminada. La circunstancia hizo el trabajo de una asignación aleatoria, y por eso el episodio se estudia hoy como el primer experimento natural bien explotado de la historia.

En la investigación social contemporánea la contrastación adopta casi siempre forma estadística: se formula una hipótesis nula, se calcula la probabilidad de observar datos al menos tan extremos como los obtenidos si esa hipótesis fuera cierta, y se rechaza o no se rechaza según un umbral convenido. El aparato es potente y está mal enseñado. Un valor p no dice cuál es la probabilidad de que la hipótesis sea verdadera, no mide el tamaño del efecto y no distingue un hallazgo importante de uno trivial medido en una muestra enorme; la Asociación Americana de Estadística tuvo que publicar en 2016 una declaración formal para recordarlo. Y no rechazar la nula no equivale a demostrar que no hay efecto: puede significar simplemente que la muestra era pequeña.

De ahí que el criterio que importa no sea si la prueba se ha pasado, sino si era severa. Deborah Mayo lo formuló con precisión: una prueba es severa cuando, de ser falsa la hipótesis, habría sido muy probable que el resultado saliera en contra. Una predicción que cualquier resultado habría confirmado no corrobora nada por mucho que se cumpla, y ahí está el problema de fondo de una parte de la literatura reciente. Formular la hipótesis después de ver los datos —lo que Norbert Kerr bautizó como HARKing— convierte una exploración en una falsa confirmación; probar veinte comparaciones y publicar la que salió significativa produce, por pura aritmética, un resultado espurio de cada veinte. Los remedios en curso son todos maneras de restituir la severidad: registrar la hipótesis y el plan de análisis antes de recoger los datos, declarar los análisis exploratorios como tales, publicar el conjunto de datos y replicar en muestras independientes.

El ejemplo que mejor muestra lo que está en juego en política pública es el experimento de patrulla preventiva de Kansas City, en 1972. La creencia establecida —que la presencia visible de coches patrulla disuade el delito— nunca se había contrastado; se daba por evidente. El departamento dividió quince distritos en tres grupos: en cinco se suprimió la patrulla rutinaria y los coches entraban solo a llamadas, en cinco se mantuvo el nivel habitual y en cinco se multiplicó por dos o por tres. Al cabo de un año, ni la delincuencia registrada, ni la victimización medida por encuesta, ni la sensación de seguridad de los vecinos, ni su satisfacción con la policía diferían de forma apreciable entre los tres grupos. Los vecinos ni siquiera advirtieron el cambio. El resultado no demostró que la policía fuese inútil, pero refutó una hipótesis concreta y muy cara sobre cómo debía desplegarse, y de esa refutación salieron después la policía orientada a problemas y la concentración de recursos en los puntos calientes. Es un buen recordatorio de para qué sirve contrastar: no para confirmar lo que ya se hacía, sino para averiguar si lo que se hacía tenía algún efecto.

En ciencias sociales todo esto es más difícil y no por falta de rigor. No hay laboratorio donde fijar las condiciones, los conceptos hay que operacionalizarlos en indicadores imperfectos, y muchos de los supuestos auxiliares son a su vez teorías discutibles. La respuesta no ha sido renunciar a contrastar, sino multiplicar las maneras de hacerlo: experimentos de campo, discontinuidades administrativas, variables instrumentales, datos de panel, replicaciones en otros países. Cada uno de esos diseños es un intento de que la naturaleza pueda decir que no, que es en definitiva lo único que distingue una contrastación de una ilustración.

Método hipotético-deductivo – Método experimental – Verificación empírica – El valor p – Falsacionismo y revoluciones científicas – Sesgo de confirmación – Operacionalización