La clasificación algorítmica

La clasificación algorítmica es la asignación automatizada de personas a categorías con el fin de repartir algo: un crédito, una entrevista de trabajo, una plaza escolar, una prestación, la atención de una patrulla o una recomendación de condena. Su rasgo definitorio no es el uso de estadística —los seguros la usan desde el siglo XVIII— sino la combinación de tres cosas: la decisión se toma sobre un individuo, la regla se aplica sin excepción y el sistema opera a una escala en la que revisar caso por caso es imposible. Todo lo demás es antiguo, y verlo antiguo es la mejor forma de entender qué falla.

El primer sistema de clasificación de personas a escala industrial es el de Bertillon. Su problema era concreto: la legislación francesa castigaba con más dureza al reincidente, y no había manera fiable de saber si un detenido que daba un nombre falso ya había pasado por el sistema. La antropometría judicial resolvía el problema por eliminación —cada medida divide el archivo en tramos, y once medidas dejan un puñado de fichas candidatas— y con ello inauguró la lógica que sigue vigente: lo importante no es la exactitud de cada dato, sino que el conjunto de datos permita descartar. El sistema tenía dos defectos que la propia práctica reveló. Las medidas dependían del operador, con lo que la misma persona podía producir dos fichas distintas; y la clasificación no servía para identificar a partir de un rastro dejado en la escena. Las huellas dactilares, cuya clasificación quedó resuelta a finales del siglo XIX, ganaron por ambas razones y desplazaron a la antropometría en dos décadas.

Geoffrey Bowker y Susan Leigh Star formularon en 1999 la teoría general de esto en Sorting Things Out, y sus tres resultados siguen siendo el mejor instrumento para analizar cualquier sistema automatizado. El primero es que las clasificaciones son infraestructura: se vuelven invisibles cuando funcionan y solo se notan cuando fallan, igual que las tuberías. El segundo es que toda clasificación produce categorías residuales —el «otros», el «no consta»— y que ahí se acumula precisamente lo que el sistema no supo prever, de manera que el cajón de sastre es el lugar donde hay que mirar para entender los supuestos de un esquema. El tercero, el más útil, es lo que llamaron torsión: cuando la biografía de una persona no encaja en la casilla disponible, no se corrige la casilla, se corrige la biografía, y el coste de esa deformación lo paga siempre el clasificado y nunca el clasificador.

La mecanización llegó con el censo estadounidense de 1890 y con las tarjetas perforadas de Hermann Hollerith. Su aportación no fue sumar más rápido: fue permitir el cruce de variables, es decir, localizar subpoblaciones. Un registro que puede responder a la pregunta «quiénes son, uno a uno, los residentes de este distrito que cumplen estas tres condiciones» es una herramienta distinta de un recuento, y su potencia es indiferente al propósito. William Seltzer y Margo Anderson reunieron en 2001 la documentación de lo que ocurre cuando ese propósito cambia: los sistemas de registro de población europeos, construidos para administrar servicios, fueron utilizados durante la ocupación alemana para localizar a los grupos perseguidos, y la correlación entre la calidad del registro civil de un país y la proporción de su población judía asesinada es uno de los hallazgos más sombríos de la historia de la estadística. La lección no es que registrar sea malo: es que un registro sobrevive al régimen que lo creó, y que la evaluación de un sistema de clasificación tiene que incluir a quien lo heredará.

El caso que fijó el debate contemporáneo es el de las puntuaciones de riesgo de reincidencia usadas por tribunales estadounidenses. En 2016, un equipo de ProPublica analizó los resultados de una de esas herramientas en un condado de Florida y encontró un patrón claro: entre los acusados que no reincidieron, los negros habían recibido una etiqueta de alto riesgo con mucha más frecuencia que los blancos; entre los que sí reincidieron, los blancos habían sido etiquetados de bajo riesgo con más frecuencia. La empresa respondió que su instrumento estaba calibrado: dentro de cada puntuación, la proporción real de reincidencia era la misma para blancos y negros. Lo notable es que ambas partes tenían razón, y ese es el resultado que conviene retener. Alexandra Chouldechova, y de forma independiente Jon Kleinberg, Sendhil Mullainathan y Manish Raghavan, demostraron en 2016 y 2017 que cuando las tasas base de dos grupos difieren, es matemáticamente imposible que una puntuación esté calibrada y a la vez iguale las tasas de error entre grupos. No es un defecto de implementación que un equipo mejor pueda corregir: es un teorema de imposibilidad. Cualquier sistema de este tipo tiene que elegir qué criterio de equidad sacrifica, y esa elección es política y no técnica.

Los fallos documentados forman ya un catálogo con estructura reconocible. En 2018 Joy Buolamwini y Timnit Gebru midieron sistemas comerciales de clasificación de género a partir de fotografías y encontraron tasas de error de hasta el 34,7 % en mujeres de piel oscura frente al 0,8 % en hombres de piel clara: el sistema no era peor en general, era peor exactamente donde había menos ejemplos en su entrenamiento. En 2016, Kristian Lum y William Isaac mostraron con datos de una ciudad estadounidense el problema del bucle de realimentación en la predicción policial: si el modelo se entrena con detenciones registradas y no con delitos cometidos, enviar más patrullas a una zona produce más registros en esa zona, que el modelo interpreta como confirmación. La predicción se cumple porque se actúa sobre ella. Y en la administración pública hay al menos dos sentencias que fijaron límites: un tribunal neerlandés anuló en febrero de 2020 el sistema de detección de fraude social SyRI por incompatible con el derecho a la vida privada, y el programa australiano de cálculo automático de deudas de prestaciones —que promediaba ingresos anuales para imputar cobros indebidos mes a mes— acabó reclamando cientos de miles de deudas inexistentes, en una devolución multimillonaria y una comisión de investigación. En España, el programa que decide la concesión del bono social eléctrico dio lugar a un litigio por el acceso a su código fuente en el que la administración opuso la propiedad intelectual del software: un caso ejemplar de que la opacidad de estos sistemas rara vez es técnica y casi siempre es jurídica.

Queda la objeción más importante, y es a favor de los algoritmos. La alternativa no es una decisión limpia, es una decisión humana con sesgos igual de grandes, distribución mucho más caprichosa y ninguna posibilidad de auditoría: un juez no puede ser sometido a validación cruzada. Kleinberg y sus coautores mostraron en 2018, con datos de decisiones de fianza en Nueva York, que una regla estadística bien construida podía reducir simultáneamente la población encarcelada y la delincuencia respecto a las decisiones reales de los jueces, y que además hacía explícitas las disparidades raciales que la práctica judicial dejaba invisibles. El argumento sólido, por tanto, no es que clasificar automáticamente sea ilegítimo, sino que la comparación honesta es entre dos sistemas imperfectos y que solo uno de los dos puede ser medido. Lo que sigue siendo indefendible es el tercer camino, el habitual: un sistema automático cuyos criterios no se publican, cuyas tasas de error por grupo no se miden y cuya decisión ninguna persona puede revisar.

Capitalismo de la vigilancia – Panóptico – La economía de la atención – El trabajo de plataforma – Racismo científico y craniometría – Los apaches de París – Algoritmo – Era digital