Algoritmos para la manipulación política y la discriminación

Algoritmos para la manipulación política y la discriminación Imagen superior: el conocimiento detallado del perfil de los usuarios de redes sociales permite a los políticos adaptar su propaganda a medida de cada individuo (Geralt, Pixabay).

En 2011, Sarah Wysocki, maestra primaria en Washington DC, fue calificada por un algoritmo de evaluación docente. En vez de valorar su forma de enseñar, corregir, tutorizar, etc., medía indicadores indirectos: las notas de sus alumnos.

Aunque gozaba de la estima de los padres y del director de su colegio, el ‘modelo de valor añadido’ puntuó a Wysocki muy bajo en enseñanza de lengua y matemáticas.

Basándose en decenas de pruebas de un solo curso (para tener validez estadística debería haber procesado cientos de exámenes), la despidieron. La cosa no acabó ahí: en los años siguientes, una inspección detectó numerosas tachaduras en las pruebas: los maestros, temiendo ser echados por el algoritmo, enmendaron al alza los ejercicios de sus estudiantes.

Otro ejemplo del efecto perverso del big data en la educación lo brindan los rankings de universidades, inventados en 1988 por la revista US News and World Report para vender ejemplares a los estudiantes. Aparte de ser confeccionados por periodistas sin idea de pedagogía, al tomar como referencia a las universidades de élite anglosajonas, priorizan parámetros que les benefician como la reputación (favorable a los centros más antiguos) y omiten los que les perjudican, como el precio de la matrícula (de incluirse, aquellas perderían posiciones y las universidades públicas subirían).

Consecuencia: las instituciones de élite aumentaron sus precios, los demás se vieron sometidos a exigencias inalcanzables y proliferó la picaresca para escalar posiciones en las tablas.

Son algunos de los casos examinados en Armas de destrucción matemática. Cómo el Big Data aumenta la desigualdad y amenaza la democracia (título español que no recoge el juego de palabras entre mass y math patente en el original Weapons of Math Destruction). Con pocas fórmulas y abundantes analogías, su autora, Cathy O’Neil, desnuda los errores estadísticos y la falaz neutralidad de ciertos modelos matemáticos, dando una muy oportuna réplica a la visión del big data como panacea de todos los males sociales y económicos.

algoritmos2

Imagen superior: el escándalo creado por el uso ilegal de cuentas de Facebook para propaganda política puso de máxima actualidad al alegato de Cathy O’Neil contra las “armas de destrucción matemática”. En su libro, la experta estadounidense en ciencia de datos desmonta los sesgos y diseños erróneos de algoritmos manejados por empresas, policías y gobiernos con consecuencias nefastas para la igualdad de oportunidades, los derechos laborales y la calidad democrática (Geralt, Pixabay).

Fiasco en las predicciones 

En sus páginas, la obra de O'Neil señala las dos premisas erróneas que sustentaban la predicción de impagos hipotecarios, cuyo fiasco detonó la crisis financiera de 2008: el futuro no diferirá del pasado, y los impagos son hechos aleatorios no relacionados entre sí. O’Neil no habla de oídas; doctora en matemáticas porla Universidad de  Harvard, fue analista cuantitativa del fondo de inversión D.E. Shaw antes de unirse al movimiento Occupy Wall Street, cuyo espíritu impregna su blog mathbabe y este libro.

Su lupa se detiene en los modelos de prevención criminal que orientan a los policías y jueces estadounidenses. Su preferencia por determinadas variables geográficas y figuras delictivas envía a los agentes a patrullar barrios pobres con altas tasas de delitos violentos y faltas al orden público, ignorando los distritos financieros donde se fraguan las estafas que arruinan a millones.

Ciertos algoritmos prevén el potencial reincidente de un reo a partir de criterios insuficientes como su área de residencia y su amistad con personas con antecedentes penales, propiciando con ello sentencias más duras. ¿Resultado? Estigmatización de las zonas marginadas, sobrerrepresentación carcelaria de las minorías étnicas desfavorecidas e impunidad de la delincuencia de guante blanco.

En la selección de personal para trabajos de baja remuneración se aplican algoritmos que no tienen la finalidad de encontrar “al mejor empleado sino de excluir a tantas personas como sea posible de manera barata”, resalta O’Neil. Otros ayudan al sector del seguro a identificar clientes de mayor riesgo para encarecer sus pólizas (sin abaratar las del resto de asegurados, dicho sea de paso), desvirtuando el significado social de una institución nacida para compensar los reveses de la fortuna.

Algoritmos y redes sociales

El último apartado se dedica a un área candente: el uso non sancto de los algoritmos de las redes sociales. El conocimiento detallado del perfil de sus usuarios permite a los políticos adaptar su propaganda a medida de cada individuo, potenciando la práctica demagógica de decir a cada uno lo que quiere oír, y, mucho más peligroso, la manipulación de sus emociones con fines electorales.

La irracionalidad subyacente a la ‘racionalidad numérica’ nos remite al principio GIGO (del inglés garbage in, garbage out), es decir si introduces datos malos en un ordenador, saldrán datos malos.

Es lo que ocurre con modelos que, al decir de O’Neil, “son opiniones incrustadas en matemáticas”, por lo común, prejuicios racistas y clasistas. La condición de secreto comercial de los algoritmos, que les sustrae al escrutinio público, garantiza la opacidad de estas “armas de destrucción matemática”. La gente ignora cómo procesan sus datos y por qué es clasificada de tal o cual manera con pernicioso impacto en sus vidas.

Advierte la autora que con el big data se explota “la mezcla de miedo y confianza que siente la gente por las matemáticas para evitar que hagan preguntas”.

Enamorada de su disciplina, O’Neil cree que la ciencia de los números puede contribuir al bien común y defiende métricas que, en vez de desechar solicitantes de empleo, se destinen a aprovechar las cualidades laborales de cada candidato; que en lugar de enviar más gente a la cárcel, descubran las prisiones que favorecen la reintegracion de los exconvictos; o, como el modelo de Mira Bernstein, que revelen indicios de trabajos forzados en los proveedores de grandes marcas.

O’Neil cree que es crucial que el mundo académico se moje en el asunto, tal como han hecho en la Universidad de Princeton con software robótico que simula ser personas para detectar sesgos en los motores de búsqueda y buscadores de empleo en la red.

Una analogía transmite su mensaje final: así como las pésimas condiciones en las fábricas de la Revolución Industrial obligaron a imponer las leyes laborales, "nuestra época exige una legislación que proteja a la ciudadanía de los abusos perpetrados mediante la minería de datos".

Cabe apuntar que no estamos ante una obra de divulgación; la autora privilegia la denuncia por encima de la explicación minuciosa de los defectos matemáticos y estadísticos de los modelos cuestionados (una tarea imposible de cumplir en tan pocas páginas y con tantos ejemplos abarcados). Pese a esa deficiencia, el lector agradece su aldabonazo en la conciencia pública, que le pone en guardia contra las nuevas y sofisticadas formas de perpetrar injusticias.

Copyright del artículo © Pablo Francescutti, SINC (CC).

Pablo Francescutti

Pablo Francescutti es sociólogo, profesor e investigador en el Grupo de Estudios Avanzados de Comunicación de la Universidad Rey Juan Carlos (URJC) y miembro del Grupo de Estudios de Semiótica de la Cultura (GESC).

logonegrolibros

  • Buñuel y el cadáver exquisito
    Escrito por
    Buñuel y el cadáver exquisito José Luis Casado, en M21 Radio, presenta Madrid con los cinco sentidos, con la sección de Daniel Tubau Una cita con las musas. Aquí puedes leer la transcripción de un programa en el que Chus Natera y Daniel hablan acerca de los…
  • El músico, ese perseguidor
    Escrito por
    El músico, ese perseguidor ¿Es la música un lenguaje? Si lo es, la relación con la escritura está servida. Mejor dicho: cantada. Los especialistas ya han desbrozado el tema. La música, como el lenguaje verbal, posee sintaxis, gramática y,…
  • La Ciencia Inútil
    La Ciencia Inútil Que la ciencia es útil nadie lo duda. Incluso sus mayores detractores, quienes la culpan, a ella y sólo a ella, de explosiones atómicas, calentamientos globales, extinción de especies, hoyos en la capa…

Trestesauros500

logonegrociencia

Cosmos: A Spacetime Odyssey © Fox

Cartelera

Cine clásico

  • Cuando Coen es tu apellido
    Cuando Coen es tu apellido George Clooney, Ethan Coen, Catherine Z. Jones y Joel Coen durante el rodaje de "Crueldad intolerable" © 2003 Universal Pictures. Reservados todos los derechos. Cuando Coen es tu apellido, la gente hace cosas tan tontas…

logonegrofuturo2

Cosmos: A Spacetime Odyssey © Fox

logonegrolibros

bae22, CC

logonegromusica

Namlai000, CC

  • “Procol Harum” (1967)
    Escrito por
    “Procol Harum” (1967) Si, como se dice en el libro que empecé ayer, el Art Rock es el nexo de unión entre el Pop-Rock sesentero y el Prog Rock setentero, entonces creo que es de sentido común meter…

logonegroecologia

Mathias Appel, CC

  • El gigante de los ríos de Marruecos
    Escrito por
    El gigante de los ríos de Marruecos En la tercera entrega de la saga de películas de Parque Jurásico, el tiranosaurio es desbancado de su sitio de honor como el dinosaurio más temible por un extraño contendiente, un enorme animal con unas impresionantes…