Leer los datos sin que te engañen

El sesgo de selección consiste en la incorrección y error que se produce al seleccionar una muestra de forma no aleatoria, de modo que unos colectivos dentro de la población en estudio están sobrerrepresentados, dando como resultado una muestra no representativa del conjunto de la población. Un ejemplo simple sería un encuestador que a pie de calle tiene una mayor tendencia a escoger mujeres a la hora de realizar la encuesta, ototgándoles de esta forma mayor peso o represnetación frente a los hombres.

Sesgo del superviviente – Paradoja de Simpson – Ley de Goodhart – Tafonomía

El sesgo del superviviente es el error de inferencia que se comete al estudiar únicamente los casos que han superado un proceso de selección, ignorando los que desaparecieron por el camino. Es una forma particular de sesgo de selección, y la más difícil de detectar, porque los datos ausentes no dejan hueco visible: la muestra parece completa. Lo que se mide con precisión es una población que ya ha sido filtrada por la misma variable que se pretende explicar.

El ejemplo fundacional viene de la Segunda Guerra Mundial. El Statistical Research Group de la Universidad de Columbia recibió el encargo de decidir dónde reforzar el blindaje de los bombarderos aliados, y los datos disponibles eran los impactos contabilizados en los aviones que volvían: muchos en fuselaje y alas, pocos en motores y cabina. La conclusión intuitiva era blindar donde había más agujeros. El matemático Abraham Wald razonó al contrario: los aviones examinados eran precisamente los que habían sobrevivido, de modo que la escasez de impactos en los motores no indicaba que allí no impactaran las balas, sino que los aviones alcanzados en los motores no volvían para ser contados. El blindaje debía ir donde no había agujeros. El razonamiento de Wald, formalizado en una serie de memorandos de 1943 sobre la estimación de la vulnerabilidad de aeronaves a partir de los datos de las supervivientes, sigue siendo el modelo de cómo se corrige un sesgo de este tipo: modelando explícitamente el proceso que hizo desaparecer las observaciones.

El sesgo estructura silenciosamente sectores enteros. Las series históricas de rentabilidad de fondos de inversión miden solo los fondos que siguen existiendo, porque los que quebraron salen de la base de datos, lo que infla la rentabilidad media del sector en un margen que la literatura financiera estima habitualmente entre 0,5 y 1,5 puntos porcentuales anuales. La literatura de autoayuda empresarial entrevista a los fundadores que triunfaron y concluye que la clave fue abandonar los estudios, la perseverancia o la aversión al consejo ajeno, sin comprobar cuántos fundadores fracasados hicieron exactamente lo mismo. Se admira la solidez de la arquitectura romana o la sonoridad de los violines de Cremona sin contar los edificios y los instrumentos mediocres que el tiempo se llevó. Y en medicina, un estudio publicado en 1987 sobre gatos caídos desde edificios altos halló que los que caían de más de siete plantas sufrían menos lesiones que los de plantas intermedias; una explicación plausible es que los gatos que morían en la caída no llegaban nunca a la clínica veterinaria de la que salían los datos.

La defensa no es estadística sino de diseño. Consiste en preguntar, antes de mirar la tabla, qué proceso decidió quién entra en ella y qué haría un caso desaparecido para no aparecer: registros de todos los ensayos clínicos antes de conocer los resultados, bases de datos que conserven las entidades extinguidas, cohortes seguidas desde el inicio y no reconstruidas desde el final. Cuando la desaparición no se puede evitar, se modela: análisis de supervivencia, corrección de Heckman, límites de sensibilidad. Lo que no funciona es la vía intuitiva, porque la intuición trabaja con lo que ve, y el sesgo del superviviente consiste exactamente en lo que no se ve.

Muestra sesgada – Diseño muestral – Regresión a la media – Paradoja de Simpson

El sesgo de confirmación es la tendencia a buscar, recordar e interpretar la información de manera que respalde lo que ya se cree. No es un defecto de las personas poco informadas ni un vicio que se corrija con esfuerzo: es una regularidad de la cognición humana documentada en experimentos desde los años sesenta, que opera sin conciencia de estar operando y que afecta con la misma fuerza a expertos y a legos, con la particularidad de que en los expertos suele producir errores más difíciles de detectar porque vienen mejor argumentados.

La primera descripción clara es muy anterior a la psicología experimental. Francis Bacon la formuló en el Novum Organum (1620) como uno de los ídolos de la mente: el entendimiento humano, escribió, una vez ha adoptado una opinión, atrae todo lo demás para apoyarla, y aunque encuentre más fuerza y número en los casos contrarios, los desprecia o los aparta mediante distinciones. La formulación experimental llegó con Peter Wason, que en 1960 planteó a sus sujetos una tarea de descubrimiento de reglas y observó que casi todos proponían ejemplos que encajaban con su hipótesis en lugar de intentar refutarla; en 1966 diseñó la tarea de selección que lleva su nombre, en la que la inmensa mayoría de los participantes elige comprobar los casos que confirmarían la regla en vez de los que podrían falsarla, aunque la lógica exija lo contrario.

El sesgo actúa en cuatro momentos distintos, y distinguirlos ayuda a entender por qué es tan difícil de neutralizar. En la búsqueda, lleva a formular preguntas cuya respuesta afirmativa confirma la hipótesis y a consultar fuentes previsiblemente favorables. En la interpretación, hace que la evidencia ambigua se lea como apoyo, y —efecto más inquietante— que la misma evidencia mixta refuerce las posiciones contrarias de dos personas que la examinan, fenómeno llamado polarización de actitudes que se documentó por primera vez con datos sobre la pena de muerte. En la memoria, favorece el recuerdo selectivo de los casos que encajan. Y en la evaluación de la fuente, produce un doble estándar: los estudios que contradicen lo que se cree reciben un escrutinio metodológico mucho más severo que los que lo confirman, y el escrutinio severo es en sí mismo legítimo, lo que hace que el sesgo se disfrace de rigor.

En investigación, sus efectos son bien conocidos y tienen nombre propio. El sesgo de publicación hace que los resultados negativos se publiquen menos, con lo que la literatura acumulada sobrestima los efectos. El HARKing consiste en formular la hipótesis después de ver los datos y presentarla como previa. El p-hacking consiste en probar variantes de análisis hasta que alguna alcance la significación. Ninguna de esas prácticas requiere mala fe: bastan un investigador convencido de su hipótesis y un conjunto de decisiones analíticas razonables tomadas una tras otra. La respuesta institucional ha ido en la dirección correcta —registro previo de hipótesis y análisis, informes de resultados aceptados antes de conocerlos, publicación obligatoria de datos, replicación sistemática— y su lógica es la de Bacon: no pedir a los investigadores que sean imparciales, sino diseñar un procedimiento en el que la parcialidad no pueda actuar.

Fuera del laboratorio, el sesgo explica bastante de lo que se atribuye a la mala fe. En medicina, la impresión diagnóstica inicial condiciona qué pruebas se piden y cómo se leen, y de ahí los protocolos de diagnóstico diferencial, que obligan a formular explícitamente las alternativas. En investigación policial y forense, el conocimiento del sospechoso contamina la interpretación de indicios ambiguos, y por eso se recomiendan procedimientos ciegos en las ruedas de reconocimiento y en el análisis de muestras. En la evaluación de personal, la primera impresión determina qué se pregunta en el resto de la entrevista. Y en el consumo de información, el efecto se combina con la selección algorítmica: los sistemas de recomendación optimizan la permanencia, y el contenido que confirma lo que uno ya piensa retiene mejor, de modo que el sesgo individual y el incentivo comercial apuntan en la misma dirección. Conviene precisar, eso sí, que la evidencia empírica sobre las burbujas de filtro es más matizada de lo que sugiere el término: varios estudios encuentran que los consumidores de noticias en línea están expuestos a más diversidad de fuentes que los de medios tradicionales, y que el problema principal no es la falta de exposición a la opinión contraria sino la interpretación hostil de esa exposición.

Sobre los remedios, la investigación es menos optimista de lo que a nadie le gustaría. Informar a alguien de la existencia del sesgo no lo reduce, y advertir de él puede aumentar la confianza en el propio juicio. Lo que sí funciona, con efectos modestos pero medibles, son procedimientos externos: obligarse a enumerar por escrito las razones por las que la propia conclusión podría ser errónea —la técnica de «considerar lo contrario»—, asignar formalmente a alguien el papel de argumentar en contra, someter la decisión a un grupo con intereses divergentes, y sobre todo fijar de antemano qué observación se aceptaría como refutación. Esa última es la más potente y la más incómoda, porque exige responder antes de mirar a la pregunta que el sesgo de confirmación está diseñado para evitar: qué haría falta para que yo estuviera equivocado.

Falacias – Navaja de Occam – Hipótesis nula – Sesgo de selección – Efecto Hawthorne

La correlación espuria o correlación espúrea es una correlación estadística intensa y a menudo significativa entre dos variables que no están unidas por ninguna relación causal. La cifra es real: los datos existen, el coeficiente se calcula correctamente y la prueba de significación se pasa. Lo que no existe es el vínculo que la mente del lector añade al ver el número.

Hay cuatro mecanismos distintos que producen el fenómeno y conviene distinguirlos, porque el remedio de cada uno es diferente. El primero es la variable de confusión: una tercera causa que mueve a las dos variables observadas y las hace subir y bajar juntas. La correlación entre el consumo de helados y los ahogamientos es el caso de manual, y la causa común es el calor. El segundo es la tendencia compartida: dos series temporales que crecen a lo largo de los años correlacionan entre sí casi siempre, sin ninguna relación entre ellas, porque las dos correlacionan con el tiempo. Clive Granger y Paul Newbold demostraron en 1974 que regresar una serie no estacionaria sobre otra produce coeficientes altamente significativos con datos generados al azar, y que ese resultado había invalidado silenciosamente una parte considerable de la econometría publicada hasta entonces; es el motivo por el que hoy se exige comprobar la estacionariedad antes de regresar series temporales.

El tercer mecanismo es la selección de la muestra. Si el criterio por el que un caso entra en los datos depende de las dos variables a la vez, aparece entre ellas una correlación que no está en la población. El ejemplo clásico es el de las aptitudes de los admitidos en una universidad selectiva: entre los estudiantes ya admitidos, la nota de examen y la entrevista correlacionan negativamente, porque quien entró con una nota baja tuvo que compensar con la entrevista, y a la inversa. En la población de solicitantes no hay tal correlación. El cuarto es el que descubrió Karl Pearson en 1897 y que sigue apareciendo en la literatura biomédica: dos cocientes que comparten el mismo denominador correlacionan entre sí por construcción, aunque sus numeradores sean independientes. Pearson lo advirtió a propósito de los índices craneales de la antropometría, y la advertencia vale hoy para cualquier par de tasas calculadas sobre la misma población.

De ahí que la fórmula «correlación no implica causalidad» sea correcta pero insuficiente, porque no dice qué hay que hacer a continuación. La respuesta la ha dado la literatura de inferencia causal desarrollada por Judea Pearl y otros: para decidir si una asociación observada admite lectura causal hay que declarar previamente un modelo de qué causa a qué, y ese modelo determina qué variables hay que controlar y —lo que se olvida más— qué variables no se deben controlar. Ajustar por una variable que es consecuencia de las dos, y no causa, introduce sesgo en lugar de eliminarlo. La estrategia de «controlar por todo lo disponible» no es prudente: es una manera fiable de fabricar correlaciones espurias nuevas.

Hay que añadir una objeción al uso divulgativo del concepto, porque se ha vuelto un recurso perezoso. La colección de correlaciones absurdas que popularizó Tyler Vigen en 2014 —el consumo de queso y las muertes por enredarse en las sábanas, los divorcios en Maine y el consumo de margarina— es un ejercicio deliberado de dragado: con miles de series disponibles y una búsqueda automática de pares, encontrar coeficientes por encima de 0,9 es aritméticamente inevitable y no dice nada sobre ninguna de las series. Su valor pedagógico es enseñar que el coeficiente por sí solo no informa; su coste es que se cita para desacreditar cualquier asociación incómoda, incluidas las que sí tienen mecanismo, evidencia experimental y replicación. La pregunta que separa una cosa de otra no es cuál es el valor del coeficiente, sino si existe un mecanismo plausible, si la asociación resiste al control de los factores de confusión conocidos y si aparece en diseños donde la exposición no la eligió el propio sujeto.

Paradoja de Simpson – Regresión a la media – Ley de Goodhart

La paradoja de Simpson es el fenómeno por el que una tendencia que aparece en cada uno de varios grupos desaparece, o se invierte, cuando los grupos se juntan. Un tratamiento puede ser mejor que otro para los pacientes graves y también para los leves, y peor en el total; una universidad puede admitir a las mujeres en mayor proporción que a los hombres en cada departamento y en menor proporción en el conjunto. No hay error de cálculo en ninguna de las dos cifras. Las dos son ciertas, y la paradoja está en que la pregunta «¿cuál es mejor?» no tiene una sola respuesta hasta que se decide qué se está comparando con qué.

El caso más citado es el de las admisiones de posgrado en la Universidad de California en Berkeley en el otoño de 1973. La universidad había recibido 12.763 solicitudes y admitido al 44 % de los hombres y al 35 % de las mujeres, una diferencia que parecía una prueba de discriminación y que motivó un estudio interno. Peter Bickel, Eugene Hammel y William O’Connell revisaron las cifras departamento por departamento y encontraron lo contrario: en la mayoría de ellos las mujeres eran admitidas en igual o mayor proporción. La figura de esta página recoge los seis departamentos más grandes que el artículo publicó con sus datos completos, los mismos que se han reproducido en manuales durante medio siglo.

La explicación está en la figura, en el grosor de las barras. Los hombres solicitaban sobre todo los departamentos A y B, donde entraba más de la mitad de los candidatos; las mujeres, los departamentos C, D, E y F, donde entraba menos de un tercio. Cada grupo compite en un terreno distinto, y la media global de las mujeres se hunde no porque les vaya peor en algún sitio, sino porque compiten donde todo el mundo pierde. Bickel y sus colegas lo formularon con cuidado: los datos no probaban que hubiera discriminación en las admisiones, aunque sí planteaban por qué los departamentos con más plazas eran los que recibían menos solicitudes de mujeres, una pregunta que la tabla no puede responder. El deslizador de la figura hace el experimento mental que ellos hicieron con lápiz: si las mujeres se hubieran repartido entre departamentos como los hombres, con las mismas tasas de admisión departamento a departamento, habrían entrado en mayor proporción que ellos.

El segundo caso de la figura muestra que la paradoja no es una curiosidad de las estadísticas sociales. En 1986 Clive Charig y sus colegas del Instituto de Urología de Londres compararon dos técnicas para eliminar cálculos renales: la cirugía abierta y la nefrolitotomía percutánea, una intervención menos invasiva. En conjunto, la percutánea tenía más éxito, 83 % frente a 78 %. Pero al separar las piedras pequeñas de las grandes, la cirugía abierta ganaba en ambos grupos. El motivo es el mismo que en Berkeley con otros nombres: los cirujanos reservaban la operación abierta para los casos difíciles, las piedras grandes, y eso arrastraba su media hacia abajo. Steven Julious y Mark Mullee usaron precisamente estos datos en 1994 para advertir a los lectores del British Medical Journal de que una tabla agregada puede señalar el tratamiento equivocado.

El nombre honra a Edward Simpson, un estadístico británico que en 1951 describió el fenómeno en un artículo sobre la interpretación de tablas de contingencia, aunque no lo llamó paradoja ni pretendió haberlo descubierto. Karl Pearson en 1899 y George Udny Yule en 1903 ya habían notado que una asociación presente en dos subpoblaciones podía desaparecer al mezclarlas. El nombre lo puso Colin Blyth en 1972, en un artículo que relacionaba el fenómeno con el «principio de lo seguro» de la teoría de la decisión: si una acción es preferible tanto si ocurre un suceso como si no ocurre, debería ser preferible sin más. La paradoja parece violarlo, y buena parte de la literatura posterior ha consistido en explicar por qué en realidad no lo hace.

La resolución que hoy se acepta la dio Judea Pearl, y consiste en decir que la paradoja no es un problema de aritmética sino de causalidad. Las cifras agregadas y las estratificadas son igual de correctas; la pregunta es cuál responde a lo que queremos saber, y eso depende de cómo se relacionan las variables. En el caso de los cálculos renales, el tamaño de la piedra influye a la vez en qué tratamiento se elige y en el resultado: es una variable de confusión, y la respuesta correcta es la estratificada, porque compara pacientes comparables. Pero Pearl construye ejemplos con las mismas tablas en los que la variable por la que se estratifica es una consecuencia del tratamiento —la tensión arterial que un fármaco modifica, por ejemplo—, y entonces separar por ella es un error y la cifra correcta es la agregada. Los números no pueden decidir; hace falta un modelo de qué causa qué.

De ahí la lección que el fenómeno enseña y que el nombre de paradoja tiende a ocultar. No hay nada misterioso en que una media global dependa de cómo se pesan sus partes: ocurre cada vez que dos grupos se reparten de forma distinta entre situaciones de distinta dificultad. Lo que parece paradójico es la pretensión de que una sola cifra resuma una comparación. Cuando un informe dice que un colegio, un hospital o un país obtiene mejores resultados que otro, la pregunta que la paradoja obliga a hacer es con qué población trabaja cada uno, y si la diferencia entre poblaciones explica la diferencia entre resultados. La figura de esta página deja repartir a los solicitantes de Berkeley con un dedo; en la práctica, ese reparto es lo que hay que ir a buscar antes de creerse la barra de arriba.

Correlación espuria – Sesgo de selección – Datos agregados – Estadística descriptiva y estadística inferencial

La regresión a la media es el hecho de que, cuando dos medidas están correlacionadas pero no perfectamente, los casos extremos en la primera tienden a ser menos extremos en la segunda. Los hijos de padres muy altos son altos, pero menos que sus padres; los alumnos que sacan la mejor nota en un examen sacan buena nota en el siguiente, pero rara vez la mejor; el hospital con más muertes este año tendrá probablemente menos el año que viene sin que nadie haya hecho nada. No es una fuerza, ni una tendencia hacia la mediocridad, ni un castigo por destacar. Es una consecuencia aritmética de que una parte de cualquier medida sea azar, y sin embargo lleva siglo y medio produciendo conclusiones equivocadas en la medicina, la educación, la economía y el deporte.

Francis Galton la descubrió midiendo estaturas. En 1886 publicó una tabla con 928 hijos adultos de 205 parejas inglesas, en la que a cada hijo se le asignaba la estatura media de sus padres —con la de la madre multiplicada por 1,08 para hacerla comparable con la del padre— y comprobó que los hijos de padres que medían 5 centímetros más que la media medían, de media, unos 3 centímetros más, dos tercios del exceso. La figura de esta página dibuja exactamente esa tabla, pasada a centímetros. La recta que mejor ajusta la estatura de los hijos a la de los padres tiene pendiente 0,65, y los círculos blancos, la media de los hijos para cada grupo de padres, se apartan de la diagonal en las dos puntas: los hijos de los padres más altos son más bajos que ellos, y los de los más bajos, más altos.

Galton lo llamó primero reversión y después regresión hacia la mediocridad, y pensó al principio que había descubierto una ley de la herencia, una fuerza que devolvía a cada generación hacia el tipo ancestral. Le costó darse cuenta de que el fenómeno no tiene nada que ver con la herencia: el botón de la figura que invierte la predicción lo demuestra. Si se toman los hijos más altos y se mira a sus padres, los padres son también menos altos que ellos; la regresión funciona igual hacia atrás en el tiempo, y ningún mecanismo biológico puede hacer que los hijos «tiren» de la estatura de sus padres. Stephen Stigler, historiador de la estadística, ha contado cómo Galton tardó años en pasar de esa intuición equivocada a la explicación correcta, que es puramente estadística, y cómo en el camino inventó el coeficiente de correlación y la recta de regresión, que heredaron el nombre de un fenómeno que ya no describen.

La explicación es esta. La estatura de una persona se puede pensar como una parte que comparte con sus padres y otra que no: alimentación, enfermedades, azar del desarrollo. Los padres excepcionalmente altos lo son en parte por la primera y en parte por la segunda, y solo transmiten la primera. Sus hijos reciben la parte compartida y una porción nueva de azar, que en promedio es cero, así que quedan más cerca de la media. Cuanto menor es la correlación entre las dos medidas, mayor la regresión; con correlación perfecta no habría ninguna, y con correlación cero la mejor predicción para cualquier hijo sería la media general, sea como sea el padre. En los datos de Galton la correlación es de 0,46 y la pendiente, la fracción del exceso que se conserva, de 0,65. La recta naranja de la figura es esa fracción.

El error que la regresión induce tiene nombre —la falacia de la regresión— y consiste en atribuir a una causa lo que la aritmética garantizaba. Harold Hotelling lo denunció en 1933 en una reseña célebre del libro El triunfo de la mediocridad en los negocios, en el que el economista Horace Secrist había mostrado, con cientos de tablas, que las empresas más rentables de un año eran menos rentables años después, y las menos rentables más, y lo había interpretado como una tendencia de la competencia a igualar a todos. Hotelling señaló que las tablas probaban lo mismo que probarían las estaturas de Galton, es decir, nada, y que el mismo libro se podía haber escrito leyendo el tiempo hacia atrás. En medicina el problema es cotidiano: un paciente al que se trata porque su tensión salió alta en una medida tendrá una medida más baja en la siguiente aunque el tratamiento no haga nada, porque parte de la primera era ruido. Martin Bland y Douglas Altman lo explicaron en 1994 a los lectores del British Medical Journal y concluyeron que la única defensa es el grupo de control, que regresa lo mismo sin recibir el tratamiento.

Daniel Kahneman ha convertido el fenómeno en una pieza central de su explicación de por qué el juicio intuitivo falla. Cuenta que instructores de vuelo de la aviación israelí estaban convencidos de que reñir a un cadete tras una mala maniobra mejoraba la siguiente, y de que felicitarlo tras una buena la empeoraba, y que ambas cosas eran ciertas y ninguna se debía a ellos: tras una maniobra excepcionalmente mala lo esperable es una mejor, y tras una excepcionalmente buena, una peor, con instructor o sin él. La misma lógica explica la «maldición» de las portadas deportivas, la caída de las segundas temporadas y el desengaño con el fichaje estrella que venía de su mejor año. La mente busca una causa para cada cambio, y la regresión produce cambios que no tienen ninguna.

La lección de la figura está en el deslizador. Elegir a los padres de 184 centímetros y ver que sus hijos miden de media 182,6 no dice nada sobre los genes de esas familias; dice que los padres de 184 fueron seleccionados por ser altos y que parte de su altura no era transmisible. Cualquier vez que se seleccione un grupo por su valor extremo en una medida —los peores colegios, los mejores fondos de inversión, las carreteras con más accidentes— y se vuelva a medir, el grupo habrá mejorado o empeorado hacia la media sin que eso pruebe la eficacia de lo que se haya hecho entre tanto. Galton lo descubrió con cintas métricas en 1886, y sigue siendo la trampa más común en la lectura de datos.

Desviación típica (desviación estándar) – Recta de regresión de mínimos cuadrados – Sesgo del superviviente – Correlación espuria

La ley de Goodhart establece que toda regularidad estadística observada tiende a desaparecer en cuanto esa medida se convierte en objetivo de una política. La formuló el economista británico Charles Goodhart en 1975, mientras trabajaba como asesor del Banco de Inglaterra, para explicar por qué los agregados monetarios dejaban de predecir la inflación justo cuando el banco central empezaba a fijarles un objetivo. La versión que circula hoy no es la suya sino la que le dio la antropóloga Marilyn Strathern en 1997: cuando una medida se convierte en objetivo, deja de ser una buena medida.

El mecanismo es simple y no requiere mala fe. Un indicador es útil porque correlaciona con algo que nos importa pero que no sabemos medir directamente: el número de altas hospitalarias con la salud de la población, las notas con el aprendizaje, los delitos esclarecidos con la seguridad. Esa correlación se sostiene mientras nadie tenga interés en manipularla. En el momento en que el indicador determina presupuestos, ascensos o supervivencia laboral, los agentes optimizan el indicador y no la cosa medida, y la correlación entre ambos se rompe. El indicador sigue subiendo; lo que pretendía representar, no. Donald T. Campbell enunció en 1976 una versión gemela para las ciencias sociales, la ley de Campbell: cuanto más se usa un indicador cuantitativo para tomar decisiones sociales, más presión de corrupción sufre y más se corrompe.

Las manifestaciones documentadas son abundantes y siempre del mismo tipo. En el sistema sanitario británico, el objetivo de que ningún paciente esperase más de cuatro horas en urgencias produjo pacientes retenidos en ambulancias a la puerta del hospital, porque el reloj empezaba a contar en el ingreso. En la guerra de Vietnam, el recuento de cadáveres enemigos como medida de progreso militar generó un incentivo directo a contar civiles. Cuando un banco premia el número de productos vendidos por cliente, aparecen cuentas abiertas sin que el cliente lo sepa: Wells Fargo reconoció en 2016 millones de ellas. Y el ejemplo canónico —una fábrica soviética que, medida en unidades, produce clavos diminutos, y medida en toneladas, produce un solo clavo gigantesco— probablemente sea apócrifo, pero describe con exactitud la lógica del fenómeno.

La ley de Goodhart no es un argumento contra medir. Es un argumento contra la creencia de que un indicador clave de rendimiento sobrevive intacto al uso que se le da. De ahí las estrategias defensivas habituales: usar varios indicadores que solo puedan mejorarse a la vez mejorando el fenómeno de fondo, rotarlos o mantener parte de ellos ocultos, auditar por muestreo con procedimientos distintos a los que generan la cifra oficial, y separar la medición del sistema de incentivos. Ninguna de ellas es gratuita, y todas admiten a su vez la misma objeción: quien conoce la defensa la incorpora a su optimización. La conclusión práctica es incómoda para cualquier burocracia de objetivos —y para la gestión por indicadores en general—: no existe la métrica que no se pueda cocinar, solo la métrica que todavía no compensa cocinar.

Sesgo de selección – Muestra sesgada – Profecía autocumplida – Efecto cobra – El problema de la inducción

El efecto Hawthorne es la alteración del comportamiento de las personas por el hecho de saber que están siendo observadas. Su nombre viene de la planta Hawthorne de la Western Electric, en Cicero (Illinois), donde entre 1924 y 1932 se llevó a cabo una serie de estudios sobre las condiciones de trabajo cuyos resultados dieron origen a la sociología industrial, a la escuela de relaciones humanas en la gestión de empresas y, de rebote, a una advertencia metodológica que afecta a cualquier investigación con seres humanos.

Los experimentos originales pretendían medir cómo influía la iluminación en la productividad. El resultado desconcertó a los investigadores: la producción aumentaba al subir la intensidad de la luz, y volvía a aumentar al bajarla. Estudios posteriores en la misma planta —el más citado, el de la sala de montaje de relés— alteraron horarios, pausas, sistemas de pago y supervisión, y encontraron una y otra vez mejoras que no se correspondían con la dirección del cambio. La interpretación que se impuso, asociada a Elton Mayo y a Fritz Roethlisberger, fue que el factor decisivo no era ninguna de las variables físicas sino la atención recibida: las trabajadoras del grupo experimental sabían que su rendimiento se estaba estudiando, habían sido seleccionadas, consultadas y tratadas de un modo distinto, y respondían a eso. De ahí la conclusión de la escuela de relaciones humanas: los factores sociales y psicológicos del trabajo pesan más que los físicos, tesis que desplazó al taylorismo como marco dominante de la gestión.

La reevaluación posterior ha sido demoledora con el estudio y, curiosamente, benévola con el concepto. Los datos originales se conservaron y varios equipos los han vuelto a analizar con métodos actuales. Los resultados: en el experimento de la iluminación, la documentación es tan escasa que no permite sostener casi nada; en la sala de relés, los aumentos de productividad se explican en buena medida por factores mundanos que la interpretación clásica pasó por alto —la sustitución de dos trabajadoras del grupo por otras más productivas a mitad del experimento, el aprendizaje acumulado a lo largo de meses, el cambio de sistema de incentivos, y el hecho de que la producción subía los lunes tras el descanso independientemente de cualquier manipulación—. Un reanálisis de los datos de iluminación publicado en 2011 encontró un patrón compatible con el efecto, pero muy pequeño y confundido con la estacionalidad. La conclusión razonable es que el efecto Hawthorne, tal como se enseña, no fue demostrado en Hawthorne: es un concepto útil que quedó bautizado con el nombre de un estudio que no lo probaba.

Lo que sí está bien establecido es el fenómeno general, comprobado en cientos de contextos distintos y por eso digno de conservar el nombre. Los participantes de un experimento no son observadores pasivos: intentan averiguar qué se espera de ellos y actúan en consecuencia, lo que en la literatura se llama efecto de las características de la demanda. Los pacientes de un ensayo clínico cumplen mejor el tratamiento y declaran mejorías que no se corresponden con marcadores objetivos. Los conductores reducen la velocidad ante una cámara y aceleran después. Los profesores enseñan distinto cuando hay un inspector en clase. Y en los indicadores de gestión, el fenómeno se combina con la ley de Goodhart para producir el resultado habitual: lo que se mide mejora, y lo que se pretendía medir no necesariamente.

De ahí una batería de precauciones metodológicas que la investigación aplicada ha incorporado. Los diseños con doble ciego impiden que participantes e investigadores sepan quién recibe qué. Los grupos de control activo reciben una intervención placebo con la misma cantidad de atención, precisamente para que el efecto Hawthorne actúe igual en ambos brazos y se cancele. Los períodos de familiarización dejan pasar el tiempo suficiente para que la novedad de ser observado se agote. El uso de datos administrativos o de registro en lugar de autoinformes evita la reactividad al cuestionario. Y la observación no obtrusiva —datos recogidos sin que el sujeto lo note, con sus propios problemas éticos— es la solución extrema. Ninguna de ellas es perfecta, y el efecto es una de las razones por las que las intervenciones sociales y educativas rinden con frecuencia mucho menos al escalarse que en el estudio piloto: en el piloto, la atención del equipo investigador formaba parte del tratamiento.

Conviene señalar por último la ambigüedad conceptual que arrastra la etiqueta. Se ha usado para nombrar cosas distintas: la reactividad a la observación, la mejora por la novedad, el deseo de complacer al investigador, el efecto de la atención social e incluso el placebo. Esa amplitud lo ha hecho popular y a la vez lo ha vuelto poco informativo, porque cada uno de esos mecanismos exige un control diferente. En una discusión seria conviene nombrar cuál se sospecha en lugar de invocar el conjunto, y recordar que el nombre remite a una planta de teléfonos donde probablemente ocurrió otra cosa.

Sesgo de confirmación – Ley de Goodhart – Validez externa – Sesgo de selección – Indicador