Además, su evolución científica y su recorrido profesional, orientado al diseño de herramientas de inteligencia artificial (IA) para abordar problemas de diferentes sectores, hace que sea la candidata idónea para preguntarle sobre qué hay detrás de del machine learning, por qué existen sesgos en este tipo de tecnologías y qué supone esto para la sociedad.

¿Nos puedes hablar un poco sobre ti, quién es Itziar Landa?

Soy una persona de perfil técnico, aunque he evolucionado mucho, ahora me dedico a la gestión, pero me ha llevado mi trabajo porque en la parte técnica es donde yo me sentía como en casa.

Siempre intentamos trabajar para difuminar las barreras entre ciencias y letras, a la hora de gestionar personas y cuando trabajabas en el ámbito más técnico, ¿crees que tienes esta perspectiva abierta, holística y que la incorporas en tu día a día?

Totalmente, yo creo que los perfiles de machine learning suelen venir de físicas y de matemáticas, casi más que la evolución que se espera “natural” de informática o de ingeniería. Esto está muy conectado con el nivel de abstracción matemático, está todo unido.

Por ejemplo, en la filosofía y en el razonamiento tienes que tener un nivel de abstracción superior para defender otras posiciones u otras ideas. Salir de tu mente y abstraerte para poder entenderlo. Y esto pasa mucho en las matemáticas porque cuando dicen que las matemáticas son deterministas; esto es 1+1=2, no lo es.

El álgebra, la física hasta en las telecomunicaciones se necesita un nivel de abstracción que por memoria y razonamiento lógico solo no es suficiente para llegar a hacer avances.

Esa capacidad de romperte el coco, de quitar tus barreras y darle una vuelta más allá, se saca en muchas carreras de letras y en muchas de ciencias, y en un doctorado aún más. Al final es llevar a otro nivel la temática que quieras “forzar”, tus barreras del conocimiento sobre ese tema. Y al igual que atrae también puede causar algo de rechazo.

¿Cómo es el proceso por el cuál puedes llegar a ese nivel de abstracción?

Para llegar a este punto de la conversación tienes que ir calentando y preparando la mente. Se dice que la investigación es muy solitaria pero no, cuando compartes esas ideas con alguien es mágico. Sigo viendo que la ideación y la resolución de problemas en equipo o con alguien que te estimule en este sentido es vital.

En nuestro día a día vemos cómo asistentes de voz, chatbots e, incluso, programas de reconocimiento facial reproducen sesgos discriminatorios interseccionales, ¿nos podrías explicar el proceso de diseño de los algoritmos y entrenamiento de los datos en machine learning?

No deberíamos sorprendernos de que esté pasando esto. Los ejemplos en la música, los asistentes o, incluso, unas pruebas que se han hecho para crear jueces con IA tienen sesgos porque los algoritmos tienen una parte que es el entrenamiento y otra la programación como tal.

Cuando acusamos al algoritmo, debemos tener en cuenta que su diseño es muy importante y el programador tiene mano, pero un porcentaje muy grande de su buen funcionamiento son los datos. Y estos son el reflejo de la realidad. Un algoritmo va a aprender con lo que tú le enseñes y la realidad es que el mundo tiene sesgos; el mundo es machista, es homófobo, es racista, esto es una realidad. Y estos sets de datos contienen esos sesgos.

¿Nos puedes poner algún ejemplo con servicios o productos cotidianos?

Sí, un caso muy polémico fue una línea de crédito de Apple Pay en la que se pudieron advertir unos sesgos entre géneros brutales. Todo el mundo culpaba al algoritmo, y es un tema que también se puede analizar. Pero, por otro lado, ¿con qué datos lo entrenaron? Por ejemplo, un algoritmo sencillo sirve para clasificar sí o no. Si tu entrenas un algoritmo con un millón de ejemplos en los que le das datos de esas personas y si se le concedió un crédito o no, con todos los ejemplos él aprende qué conjugación de características hace que maximice y separe el sí y el no. Técnicamente tienes que conseguir separar los datos en estos dos planos; sí y no. Eso es lo que se programa, los diferentes parámetros para maximizar dicha separación. Un buen algoritmo sería el que los deja bien separados.

Ahora bien, si tú le has dado unos datos en los que el 99% de los casos se le concedía un crédito a un hombre, el algoritmo te va a aprender de esa realidad Por tanto cuando se utilice el algoritmo para analizar un nuevo caso, tendrá un sesgo.

En este proceso ¿Cómo se podría contrarrestar estos sesgos? ¿Dónde entra la mano humana?

Yo como mujer qué te voy a decir, lo ideal sería que el mundo cambiara. La tecnología tiene que ser objetiva, y, hoy por hoy, ese algoritmo es objetivo. Lo que está haciendo es trabajar sobre unos datos subjetivos. Estamos culpando a la tecnología cuando el punto clave más determinante (no digo que sea el único) son los datos que usa.

Podemos, por un lado, modificar esos datos o podemos modificar los algoritmos. Y podemos también poner mecanismos que supervisen esos algoritmos para ver su imparcialidad.

Estas tres opciones técnicamente se traducirían en que existe una rama de la tecnología que está avanzando, la “explicabilidad de la IA”. No son modelos caja negra, hemos oído mucho -el algoritmo de Google no sabemos en base a qué toma la decisión-. Sí, lo sabemos.

Hay modelos que son explicables. Lo que se hace es pintar un árbol de decisión en el que te dice: -A esta persona le han dado un crédito; si-. La primera rama del árbol te dice - ¿Hombre o mujer? -, - ¿Si o no? -. Y bajas por la rama. - ¿Tiene puesto indefinido o no? -. Al final te dice cuáles son las características y qué probabilidad ha ido tomando para llegar a la decisión final. Esto es un ejemplo de cómo se podría hacer un algoritmo explicable.

¿Por qué no se hacen todos los modelos explicables?

Hoy en día no son los que mejor porcentaje de acierto sacan, pero ya hay. La tecnología puede avanzar por ahí para que se utilice más ese tipo de modelos que los “caja negra” o las redes neuronales… Estos son mucho menos explicables. Sin embargo, se ha decidido avanzar por una línea tecnológica que saca mejores resultados, menos falsos positivos, pero que no es explicable.

También se han tomado otras medidas. Existen unos tribunales en los que se miden los algoritmos que se están utilizando para saber la imparcialidad que tienen, pero realmente yo lo veo complejo porque quieres hacer algo objetivo y por encima vuelves a poner una capa de subjetividad.

Por otro lado, hay otras técnicas que se están llevando a cabo como filtrar los datos para verificar que los datasets que se introducen en los algoritmos sean más objetivos, pero ahí estas modificando también.

Sobre la importancia de meter diferentes perspectivas para minimizar sesgos, ¿cómo se puede actuar?

Habrá ámbitos en los que se pueda hacer más fácil por ejemplo para clasificar fallos en la industria, animales, detectar la sequía con drones… Ahí la subjetividad es mucho menor. En cambio, si la quieres aplicar en algoritmos de valoración para sustituir a jueces, ahí no.

Hay que diferenciar el objetivo para el que quieres el algoritmo. Algunos tendrán que ser de apoyo a la decisión y otros podrán ser automáticos. El apoyo a la decisión, por ejemplo, puede ser para que te ayude a buscar rápidamente sentencias pasadas similares o leyes. Que procese información y ayude a esa persona a tomar una decisión.

Sin embargo, el reconocimiento facial, la gestión del tráfico, cámaras, todo eso se puede automatizar con menos riesgo de que haya sesgos. El algoritmo no tiene sesgos relacionados con el color del coche, el tamaño… Hay sesgos siempre con lo relacionado por las personas.

La IA te puede aprender el efecto “causa-acción” pero la lógica por detrás que conlleva a realizar un acto que puede ser algo que se está valorando en un juicio, nunca la va a entender. Ante un hecho y un resultado, dos personas pueden hacer lo mismo pero la intencionalidad y las emociones no está parametrizada. Por lo que el algoritmo no va a ser capaz de discernir cuál ha sido el motivo detrás, sí el efecto y la causa, pero creo que esto no es lo que queremos. Hay ciertas cosas que van a seguir quedando para las personas y está bien que sea así.

¿Cómo crees que va a evolucionar la tecnología a futuro respecto a los sesgos interseccionales? ¿Seremos capaces de contrarrestarlos? ¿Existe un interés y un esfuerzo real?

La ciencia se está basando mucho en la explicabilidad de la IA porque realmente esa es la parte directa que se puede mejorar, el resto es el tratamiento de los datos.

También están avanzando en los comités de ética de la IA, aunque en las empresas privadas no puedes auditar sus algoritmos todavía. Se está intentando trabajar en la auditabilidad y en hacer que las propias empresas privadas quieran poner sus algoritmos Open Source para ver que son transparentes y no tienen sesgos.

Por ejemplo, en medicina, todos los algoritmos que se están utilizando para priorizar a un paciente en una lista, hacer una detección precoz de cáncer… Todos estos algoritmos en la sanidad pública tienen que ser auditables. Ya que estamos trabajando en eso, queremos que todas las empresas se sumen a esta iniciativa al Open Source. Se está avanzando en que la filosofía de los algoritmos sea transparente, la gente ya se está concienciando de que se pueden auditar y cómo.

Por último, queremos cederte la palabra para que nos cuentes tu visión sobre la temática desde una óptica más personal, ¿quieres aportar algo más a la conversación?

Personalmente considero relevante advertir que la presencia de mujeres en carreras en la ciencia ha vuelto a descender y esto dentro de unos años se reflejará en las empresas. Creo que tenemos que hacer mucho esfuerzo en los sesgos en la educación.

Para cuándo una estudiante cumple los 18 años tiene demasiados sesgos en la cabeza a la hora de elegir la carrera. Es normal estar hecho un lío o saber lo que no quieres, pero parte de lo que no quieres, o no te atreves, es un trabajo de la sociedad, ya que hay sesgos que hacen que una mujer no se lance a estudiar ciencia, tecnología o ingeniería si no lo tiene 100% seguro.

Las mujeres sienten que cuando van a estudiar una ingeniería no pueden quedarse a medias, tienen que sacar súper buenas notas. Tienes que estar o muy segura de ti misma o un poco loca o tener por detrás un ejército de apoyo para que, con un 5 de media, te sientas capaz y te lances a estudiar una ingeniería. Sin embargo, los hombres con un 5 lo intentan, las mujeres no.

Si no te autopercibes inteligente no vas a estudiar una carrera que se considere un reto, no te vas a “exponer”. Los hombres desde niños ya tienen un coraje insertado (impulsado a través de la educación y la sociedad desde edades muy tempranas) para lanzarse a por el reto. Cuando haces un análisis de la media de notas que llevaban de bachiller las mujeres al estudiar carreras de tecnología y la de los hombres, la diferencia es abrumadora.

Para nosotras es ir en contra de la sociedad - Porque a ver, ¿te vas a meter a estudiar telecomunicaciones si no tienes un 9 de media?, ¿Quién soy yo? - Pero los hombres ahí que van de cabeza. La sociedad les ha alentado para que sean ingenieros y a las mujeres para que seamos más precavidas. Y luego, la relación entre las notas de la carrera con el éxito laboral es otro debate.

Lo tienes tan inculcado que es una realidad, porque lo sentimos así. ¿Cuándo hay que atajarlo? Antes de que sientas eso, porque hasta la más echada para adelante, tiene a los sesgos inculcados. Entonces, como decía, debemos revertir esta tendencia y para ello la herramienta crucial es la educación desde la infancia.