Abre la caja: Tukey y el arte de mirar antes de calcular

John Tukey fue uno de esos científicos que dejan huella en sitios insospechados. Inventó la palabra bit para referirse a la unidad mínima de información, fue de los primeros en usar por escrito la palabra software, codiseñó uno de los algoritmos más usados de la informática, la transformada rápida de Fourier, y asesoró a varios presidentes de Estados Unidos. Pero su contribución más influyente fue quizá la más modesta: convencer a los estadísticos de que, antes de calcular nada, había que mirar los datos. Y para ayudarles a mirar, inventó una cajita con dos bigotes.

Para entender su propuesta hay que saber cómo se hacía estadística a mediados del siglo XX. La disciplina se había vuelto muy matemática. El trabajo típico consistía en partir de una hipótesis, suponer que los datos seguían una forma conocida, normalmente la distribución normal, y aplicar una prueba para decidir si la hipótesis se aceptaba o se rechazaba. Era un trabajo de confirmación: uno sabía de antemano qué preguntar. Tukey, que era matemático de formación pero había pasado la Segunda Guerra Mundial resolviendo problemas prácticos de artillería y de control de tiro, pensaba que eso era empezar la casa por el tejado.

En 1962 publicó un largo artículo titulado «El futuro del análisis de datos», que hoy se lee casi como un manifiesto. Ahí escribió una frase que se cita mucho: es mucho mejor una respuesta aproximada a la pregunta correcta, que a menudo es vaga, que una respuesta exacta a la pregunta equivocada, que siempre se puede hacer precisa. Tukey decía que el análisis de datos era una ciencia empírica, más parecida al trabajo de un detective que al de un juez. Primero hay que buscar pistas, ver qué forma tienen los datos, si hay cosas raras, si hay grupos, si la relación entre dos variables es una recta o una curva. Solo después, cuando uno sabe qué está mirando, tiene sentido confirmar.

A esa primera fase la llamó análisis exploratorio de datos, y en 1977 le dedicó un libro entero con ese título. Lo curioso es que el libro apenas usaba ordenadores: estaba pensado para trabajar con lápiz y papel, y proponía herramientas que cualquiera podía dibujar a mano en unos minutos. La más famosa es el diagrama de caja con bigotes, en inglés boxplot.

El diagrama de caja y bigotes resume un montón de datos con cinco números y un dibujo. Se ordenan todos los valores de menor a mayor y se buscan tres puntos de corte que los dividen en cuatro partes iguales, los cuartiles. El del medio es la mediana, el valor que deja la mitad de los datos por debajo y la mitad por encima. Los otros dos marcan dónde quedan el 25 y el 75 por ciento. La caja va del primer cuartil al tercero, así que dentro de ella está la mitad central de los datos, y una raya dentro de la caja marca la mediana. Luego salen dos bigotes, uno hacia arriba y otro hacia abajo, que llegan hasta los datos más extremos que no estén demasiado lejos de la caja. Y los que están demasiado lejos, a más de una vez y media la altura de la caja, se dibujan sueltos, como puntos aislados: son los valores atípicos, los que merecen una segunda mirada.

La gracia del dibujo es que, de un vistazo, cuenta varias cosas que la media sola no dice. Dónde está el centro. Cuánto se dispersan los datos, por el tamaño de la caja y los bigotes. Si la distribución es simétrica o está torcida hacia un lado, porque en ese caso la mediana no queda en el centro de la caja y un bigote es mucho más largo que el otro. Y si hay datos raros que conviene investigar. Además, como es pequeño, se pueden poner varias cajas una al lado de la otra para comparar grupos: los sueldos de hombres y mujeres, las notas de varios colegios, los tiempos de entrega de varios proveedores. Ver diez cajas en fila enseña en segundos lo que diez tablas de números tardarían una hora en contar.

Tukey propuso también otras herramientas igual de sencillas. Una es el diagrama de tallo y hojas, una especie de histograma hecho con los propios números, en el que las decenas forman el tallo y las unidades se escriben como hojas a su lado. Así se ve la forma de los datos sin perder los valores concretos. Otra es la costumbre de usar medidas resistentes, como la mediana en lugar de la media, que no se dejan arrastrar por un solo valor extremo. Tukey las llamaba así porque resisten a los datos rebeldes, y la idea es muy útil cuando, como explica cuando la media miente, basta un millonario para disparar la media de todo un bar.

La idea del análisis exploratorio cayó al principio como una pequeña herejía, porque parecía poco riguroso «mirar» los datos antes de tener una hipótesis. Había un peligro real, y Tukey lo sabía: si uno explora muchos datos buscando patrones, acabará encontrando alguno por pura casualidad, y si luego usa los mismos datos para confirmarlo, se estará engañando. Por eso insistía en separar las dos fases: la exploración sirve para generar ideas, y la confirmación, con datos nuevos o con pruebas bien diseñadas, sirve para comprobarlas. Las dos son necesarias, y ninguna sustituye a la otra.

Con el tiempo, Tukey ganó la discusión. Hoy, cualquier persona que trabaja con datos, en una universidad, una empresa o un periódico, empieza por explorarlos: dibujarlos, buscar valores raros, mirar su forma. Los programas de estadística llevan el diagrama de caja de serie, y los científicos de datos tienen un nombre para esa primera fase, que viene directamente de su libro. La caja con bigotes, por su parte, se ha convertido en uno de los gráficos más usados en los artículos científicos.

Tukey era además cuñado de Francis Anscombe, el del cuarteto de datos que tienen los mismos números y dibujos muy distintos: se habían casado con dos hermanas. Los dos defendían lo mismo desde ángulos distintos. Anscombe enseñó que los números pueden esconder lo importante, y Tukey dio las herramientas para encontrarlo. Juntos, cambiaron la forma de empezar cualquier análisis: antes de calcular, abre la caja y mira dentro.