«Los algoritmos pueden decidir quién tiene derecho a una hipoteca o cuántos impuestos pagar»

«Hoy en día los algoritmos han llegado a un punto de complejidad que pueden decidir quién tiene derecho a una hipoteca, qué tratamiento médico debe darse o cuántos impuestos nos corresponden pagar», explica Jordi Cabot, ingeniero de software e investigador ICREA de la UOC. Facebook, Amazon, Netflix o Spotify son las caras más conocidas de empresas que utilizan estos programas, pero compañías de otros sectores ya funcionan con estas fórmulas matemáticas. Un estudio de Deloitte Global apunta que en 2020, 95 de las 100 empresas mundiales más grandes de «software» por ingresos habrán integrado en sus productos tecnologías cognitivas que funcionarán con algoritmos avanzados. Pero, tal y como alerta este investigador, los algoritmos «pueden incurrir en injusticias o discriminación social».

Un estudio del Pew Research Center explica que los algoritmos son instrucciones que incorporan técnicas de inteligencia artificial para optimizar procesos de decisión. Pueden salvar vidas, facilitar el día a día y combatir el caos, pero como apuntan diferentes expertos internacionales del MIT y otros centros de investigación, también pueden dejar demasiado control en manos de las corporaciones y gobiernos, y perpetuar así sesgos, crear filtros burbuja, reducir la creatividad e, incluso, provocar más paro.

«Ha habido casos de algoritmos que se han convertido en racistas, como por ejemplo Amazon, al evitar repartir en los barrios de mayoría afroamericana de Estados Unidos, o el «chat bot» de Microsoft que se tuvo que retirar inmediatamente por comentarios racistas», remarca Cabot, también investigador del grupo de investigación SOM Research Lab de la UOC. Aunque en la mayoría de casos el sesgo era producto de datos parciales o incorrectos, «el problema es grave». Automatizar decisiones que afectan a personas individuales requiere «unos algoritmos transparentes» que se puedan evaluar con objetividad, añade Cabot.

Según apunta también Javier Borge, investigador del grupo de investigación en sistemas complejos (CoSIN3) de la UOC, los algoritmos pueden discriminar no solo por raza sino también por género, entre otros factores. Por ejemplo, por razones de injusticia histórica estas operaciones de inteligencia artificial pueden aprender que la mayoría de directores ejecutivos son hombres blancos. «Así, cuando una mujer de raza negra se inscriba en un servicio de ocupación y este funcione con un algoritmo para ofrecer los mejores candidatos a la empresa que ofrece la vacante, es posible que la mujer de raza negra tenga menos opciones de ser seleccionada.»

Para Enric Puig-Punyet, profesor de filosofía de la UOC, los algoritmos, al estar programados por personas, siempre tienen un fuerte componente ideológico. El propio hecho de creer que el mundo se puede regir por algoritmos ya implica un «posicionamiento ideológico». Así, el verdadero peligro que se esconde detrás es, pues, «sacar al ser humano de la posición de autogobierno y restarle libertad». La solución para este experto, director del Institut Internet.org, solo vendrá de comprender que los algoritmos son una manera de ver el mundo que está al servicio de unas ideologías que se pueden reinventar, y que el pensamiento utópico -completamente fuera de la lógica del algoritmo-es un posicionamiento legítimo y deseable.

Por su parte, Miquel Seguró, profesor de filosofía de la UOC e investigador de la Cátedra Ethos de la Universidad Ramon Llull, advierte que «el peligro de manipulación es obvio». La primera impresión, dice, es que los algoritmos sirven para prever y reducir el grado de incertidumbre de un cálculo computacional: «Combinan la inducción -por ejemplo, si una persona ha comprado varias novelas de terror, le interesará otra novela en concreto de este género- y la deducción -si una persona ha comprado una novela de terror, a la vez mostrará interés por la novela policíaca o de suspenseç». Por lo tanto, existe la capacidad de «modular la incertidumbre del deseo que aún no se ha podido formular el propio usuario». Todo ello acompañado de la reducción de la diversidad: «Si uno puede manipular el deseo, también lo puede canalizar y reducirlo a las variables que le interesan».

La era después de las aplicaciones
 «La potencia de los algoritmos actuales y el uso de ‘big dat’a para hacer predicciones permiten crear y automatizar muchos servicios nuevos. Todo esto también permite que la economía se mueva mucho», explica Cabot. Según Gartner, en 2020 los agentes inteligentes, es decir, los algoritmos complejos con capacidad de autoaprendizaje y de comunicarse con lenguaje natural con los seres humanos, facilitarán el 40% de las transacciones móviles, y la era ‘post-app’ comenzará a dominar. Para entonces, los consumidores habrán olvidado las aplicaciones y en lugar de confiar en ellas lo harán en agentes inteligentes o asistentes personales en la nube, como Cortana, GoogleNow, Siri y Tiro, que califica de primeros algoritmos.

De hecho, como explica Borge, en el sector de los seguros ya hay muchas empresas en Estados Unidos que implantan dispositivos en el coche que almacenan toda la actividad (modo de acelerar, modo de frenar, velocidad, horas de conducción, etc.). Todas estas variables, con el algoritmo adecuado, «determinarán el coste que tendrá el seguro de cada persona». En el sector bancario, por ejemplo, mediante tarjetas de crédito, saben qué, cuándo, dónde y a quién se ha comprado algo y cuánto valía, y todo ello «los ayuda a elaborar estrategias de publicidad personalizada; por ejemplo, el BBVA tiene un laboratorio de datos solo para esto, igual que Telefónica.».

Por otra parte, en el ámbito comercial se pueden conocer las costumbres alimentarias, la frecuencia de compra y la cantidad de gasto gracias a las tarjetas de socios de los supermercados. «Además, con la reciente normativa en Estados Unidos, los propietarios de los navegadores (Explorer, Chrome, Firefox, Safari, etc.) tienen permiso para vender historiales de navegación de los usuarios, y esto evidentemente también da oportunidades para publicidad personalizada», afirma el investigador. Y las tarjetas de transporte público permiten hacer un seguimiento del número de entradas, salidas y transporte intermodal (por ejemplo, del metro al autobús o al revés). «Con ello las autoridades pueden planificar mejor la movilidad urbana, prever espacios y momentos más peligrosos (accidentes, ataques), etc.», añade.

Evitar abusos
Así teniendo en cuenta el poder que tienen los algoritmos para determinar las decisiones de la sociedad, para concienciar de la gravedad de una posible manipulación, voluntaria o no, de los datos, la Association for Computing Machinery (ACM) —una de las principales asociaciones mundiales de informática y de la que Cabot es miembro— ha propuesto siete principios para la transparencia y responsabilidad de los algoritmos. Para el investigador de la UOC son una herramienta importante para reflexionar sobre cómo cada cual puede intentar aplicarlos en su trabajo diario:

1. Conciencia. Los propietarios, diseñadores, programadores y usuarios de algoritmos deben ser conscientes de las posibles consecuencias de su uso y de los posibles sesgos en que pueden incurrir.

2. Acceso y corrección. Las agencias reguladoras deben disponer de los mecanismos para corregir los perjuicios individuales causados por los sesgos detectados en los algoritmos.

3. Responsabilidad. Las instituciones son responsables de las decisiones tomadas por sus algoritmos, aunque estos no sean capaces de explicar cómo se ha llegado a estas decisiones.

4. Explicación. Especialmente cuando afectan a políticas públicas, las instituciones que utilizan algoritmos para la toma de decisiones han de explicar los procedimientos seguidos por los algoritmos y las decisiones que toman.

5. Procedencia de los datos. Los programadores del algoritmo han de explicar las características de los datos de entrenamiento (de donde los sacaron, cómo los obtuvieron, etc.), además de hacer una exploración de los posibles sesgos del algoritmo debido al uso de estos datos. Para evitar problemas de privacidad o secretos comerciales, se puede restringir el acceso a estos datos de entrenamiento a personas no autorizadas explícitamente.

6. Auditoría. Deben guardarse los modelos, los algoritmos, los datos y las decisiones por si hubiera que hacer una auditoría en el futuro.

7. Validación y comprobación. Las instituciones deben instaurar métodos rigurosos para la validación de los modelos (y documentarlos). También deben efectuar pruebas específicas para detectar posibles sesgos del algoritmo. Los resultados de estas pruebas también deberían ser públicos.