El mito de la neutralidad algorítmica

Hay una frase que se repite en los pasillos de Silicon Valley con la convicción de un dogma: "el algoritmo no miente". Se dice en reuniones de producto, en presentaciones ante inversores, en artículos de divulgación. Y es, probablemente, una de las mentiras más exitosas de nuestra era.

Los algoritmos no son entidades flotantes que emergen del éter con verdades objetivas. Son sistemas diseñados por personas, entrenados con datos generados por personas, optimizados para métricas elegidas por personas. Cada decisión en ese proceso —qué datos incluir, qué optimizar, qué considerar "error"— está cargada de valores, prioridades y, con demasiada frecuencia, sesgos no examinados.

El problema no es técnico

Cuando en 2018 Amazon descartó su sistema de reclutamiento automatizado porque penalizaba sistemáticamente a mujeres, la narrativa dominante fue la de un fallo técnico. Se habló de datos de entrenamiento sesgados, de modelos que aprendieron correlaciones incorrectas. Todo eso es cierto. Pero el error más profundo fue anterior: creer que era posible automatizar la selección de talento sin que los prejuicios históricos del sector tecnológico contaminaran el proceso.

La responsabilidad que no podemos delegar

La pregunta que debemos hacernos no es si los algoritmos pueden ser neutrales —no pueden— sino quién se responsabiliza de los daños que causan cuando no lo son. Necesitamos marcos regulatorios que traten los sistemas de IA de alto impacto con la misma seriedad con que tratamos los medicamentos o los vehículos. Y necesitamos, sobre todo, dejar de fingir que la neutralidad es posible.