Armas de destrucción matemática

Cathy O´Neil nos introduce en un mundo distópico en el que los algoritmos deciden nuestro futuro: un mundo cada vez más desigual en el que corremos el riesgo de perder el control de nuestro destino.

Por Andrés Riva Casas*

El progreso tecnológico suele llegar acompañado de retrocesos en términos civilizatorios y culturales. No siempre podemos advertirlo en el presente, pero, así como el pasado está plagado de ejemplos, es probable que el futuro tenga preparado algo similar para nosotros. Esto es lo que intenta explicarnos Cathy O’Neil, matemática formada en Harvard y Brekeley, en su libro “Armas de destrucción matemática: cómo el Big Data aumenta la desigualdad y amenaza la democracia” (2016), un término cuya sigla, ADM, nos recuerda al popular “Armas de destrucción masiva”. La elección del nombre no es caprichosa, pues el argumento central de O’Neil es que las matemáticas, utilizadas para procesar el Big Data y producir sofisticados algoritmos, se está convirtiendo en un arma que apunta directo al corazón de la humanidad. 

O’Neil trabajó en fondos de inversión durante la crisis financiera de 2009 en Estados Unidos, y allí descubrió como la información de las personas – que hoy abunda en internet – puede ser utilizada inescrupulosamente y a cualquier costo para obtener ganancias. Pero eso que acontece en los mercados financieros, o que tal vez comenzó allí, se ha extendido a otras áreas de la vida social, como el empleo, la educación, en incluso la política, amenazando peligrosamente los fundamentos mismos de la institucionalidad democrática. Los científicos de datos y matemáticos que trabajan procesando gigantescos volúmenes de información han ingresado en el peligroso negocio de predecir el comportamiento humano. ¿Con qué objetivo? En el sector privado, la meta es clara: obtener la mayor cantidad de ganancias posibles con la información disponible. En el sector público, en cambio, el objetivo es mejorar los procesos de toma de decisiones, apoyándose en la supuesta neutralidad de los datos para extraer conclusiones.

Pero como advierte O’Neil, en la medida que son personas las que deciden qué información utilizar para extraer conclusiones, siempre debe añadirse una variable de cálculo moral que las máquinas no están capacitadas para realizar y que, por ende, deben realizar los humanos detrás de ellas.

LOS MODELOS

Nos guste o no, el mundo en el que vivimos depende de modelos matemáticos cuyo funcionamiento escapa al conocimiento de un ciudadano promedio y que, sin embargo, tienen un impacto brutal en nuestra vida cotidiana. Cada vez que ingresamos a Facebook o Instagram, cada vez que compramos algo en internet o vemos una película en Netflix, hay detrás un algoritmo que funciona y procesa la información que vamos dejando a nuestro paso. Esta información va generando y perfeccionando modelos que luego les permiten a esas empresas mejorar su oferta y personalizarla. Así Facebook e Instagram ofrece nuestras publicaciones solo a aquellas personas que puedan interesarles, Amazon nos ofrece productos en el rango de nuestros intereses y Netflix el tipo de películas y series que más probablemente nos gusten en base a nuestros antecedentes. Pero estos modelos, recuerda O´Neil, solo reproducen patrones del pasado y por lo tanto retroalimentan un círculo vicioso difícil de romper. Si los algoritmos de las redes sociales etiquetan a un usuario como de izquierda, animalista y antivacunas, por elegir un perfil al azar, todo lo que recibirá de ellas son publicaciones e información sobre sus asuntos de interés. ¿Cuál es el resultado? Que deliberadamente le serán ocultadas las opiniones y noticias de todo aquello que se oponga a sus intereses. Se pierde el intercambio, la pluralidad, y se construyen burbujas donde cada uno está confortablemente a salvo de cualquier contradicción.

¿PARA QUÉ SIRVEN?

Quedarse con el ejemplo de las redes sociales sería absurdo, teniendo en cuenta que son solo una parte del problema. Actualmente, los modelos matemáticos para predecir el comportamiento humanos se emplean en áreas mucho más sofisticadas y O’Neil se encarga de poner el tema sobre la mesa.

Uno de los casos más polémicos es el algoritmo introducido en el sistema judicial norteamericano para evaluar las probabilidades de reincidencia de un delincuente. Mediante un cuestionario, los ingresados al sistema son evaluados por un algoritmo que luego eleva un informe al juez. Sus defensores afirman que esto permite limitar los prejuicios de raza o género de los jueces, pero O’Neil advierte algo mucho peor: las mismas preguntas del cuestionario y por tanto el algoritmo completo son extremadamente prejuiciosos, por lo cual son utilizados para reproducir las injusticias en lugar de eliminarlas. Y los castigados suelen ser los pobres, que viven en barrios donde habitan más delincuentes, donde se cometen los crímenes violentos y cuya red de contactos les hace más fácil volver al crimen que conseguir un empleo digno y estable. Los números le dan la razón: en Estados Unidos las sentencias para los negros son en promedio un 20% más largas que para los blancos que cometen los mismos crímenes; y a pesar de que son un 13% de la población, los negros ocupan el 40% de las cárceles. Este fenómeno, conocido como “selectividad del sistema penal”, hace que todo el sistema se mueva en torno a prejuicios.

Pero los modelos van más allá todavía y se utilizan para evaluar el desempeño de docentes en los sistemas de educación pública, para definir si un candidato es apto para un empleo, para otorgar o denegar un crédito a un postulante o para definir la prima de un seguro vehicular o de vida.

¿Qué información utilizan los matemáticos para esto? Toda la que esté a su alcance. En algunos casos la información es directa y en otros se utilizan variables aproximadas. Las consultoras de recursos humanos emplean tests de comportamiento para etiquetar los postulantes a un empleo, las empresas de seguros los datos de salud disponibles para un participante, pero también el barrio en el que vive, las personas que integran su red de amigos y familia, los antecedentes penales, registros financieros y todo lo que pueda conseguirse.

¿CÓMO FUNCIONAN?

Las armas de destrucción matemática tienen, según O’Neil, tres características. Son modelos opacos – cuyo funcionamiento es inaccesible y por tanto no pueden ser auditados – son escalables y causan daño.

Un ejemplo muy actual que nos ilustra sobre el funcionamiento de estos modelos es el microtargeting electoral: es decir, la propaganda política creada a medida para diferentes subgrupos de votantes. Utilizando toda la información disponible en las redes, las campañas electorales son capaces de segmentar al electorado y crear mensajes directos, pensados especialmente para persuadirlos. Saben mucho de nosotros, más incluso que nosotros mismos. Conocen nuestras afinidades ideológicas, nuestros hábitos de alimentación y de sueño, nuestros pasatiempos, lo que nos agrada y desagrada, y por supuesto nuestro empleo, edad y sexo. Toda esa información, debidamente procesada, luego es impunemente utilizada para manipularnos: ese el daño.

Pero su capacidad para influenciar la vida real no termina allí, porque al basarse en datos del pasado, estas armas matemáticas generan lo que O’Neil llama “foodback loops”, algo así como profecías autocumplidas. “Son opacos, incuestionados e inescrutables, y operan a una escala para etiquetar, apuntar u ‘optimizar’ a millones de personas. Confundiendo sus hallazgos con la realidad misma, la mayoría de ellos crean perniciosos círculos viciosos”, dice la autora.

SIN CONTROL

Evidentemente existen diferentes realidades. Mientras en Estados Unidos las ADM funcionan a todo nivel con escasa regulación, Europa se ha movido para limitar con severidad el uso de datos personales de los usuarios de internet. En Uruguay, en tanto, todavía vivimos esa realidad con cierta lejanía, como si fuese más un relato de ciencia ficción. Pero lo cierto es que nosotros, como ciudadanos del mundo, hace rato entregamos generosamente nuestra información a los gigantes de internet y las compañías telefónicas.

Lo que O’Neil propone es retomar el control y evitar que el uso de algoritmos termine en sociedades cada vez más desiguales y fragmentadas, porque así se convierten en una amenaza seria a la democracia. Si los algoritmos dividen a las personas, generan desencuentros y les muestran realidades inexistentes, la convivencia se deteriora y aquello que nos une, es decir, la vida en conjunto, se torna indescifrable y por ende inservible.  

La propuesta es, entonces, recuperar el control y evitar que el progreso tecnológico derive en un retroceso civilizatorio. Internet y las redes sociales seguirán existiendo, y el Big Data no desaparecerá, por lo cual nuestra única alternativa es poner esos datos a resguardo y procurar que no sean utilizados en nuestra contra para vendernos cosas que no necesitamos, ofrecernos préstamos usureros cuando estamos en necesidad o para jugar con nuestras emociones para influenciar nuestra elección política.

Referencias

O’Neil, Cathy. 2016. Weapons of Math Destruction: how Big Data increases inequality and threatens democracy. Crown: New York.

*Lic. en Estudios Internacionales. Docente de la licenciatura en Estudios Internacionales de Universidad ORT Uruguay. Director de Relaciones Internacionales y Cooperación de la Administración Nacional de Educación Pública. Senior Fellow del Centro para el Estudio de las Sociedades Abiertas. Director del proyecto MLADI.