¿Por qué este título a mi intervención? ¿Por qué “también” tiene nombre de mujer? O quizá debería decir para ser más cercana a la realidad “debería tener” nombre de mujer.
Pues contestaría que por dos órdenes de razones principalmente:
1. La primera porque se ha constatado que, en el diseño de los sistemas de IA, así como en la selección de los datos con los que se nutre al sistema (datos de entrenamiento, datos de testeo y datos para la validación del sistema), la mayoría de los programadores son hombres caucásicos que pueden plasmar sus propios sesgos, sin ser consciente de ello, o reproducir los sesgos que aparecen como arquetipos en el inconsciente colectivo, en la sociedad o en una cultura determinada. En este sentido, las instrucciones y los datos pueden infrarrepresentar a un grupo social (mujeres) respecto de otro que está sobre-representado (hombres) conduciendo a consecuencias indeseables si no se detectan a tiempo (v.gr. pueden conducir a tratamientos médicos inadecuados).
¿Cómo se puede resolver, si se me permite esta expresión, esta situación? Teniendo en cuenta la necesidad de que en los equipos de trabajo que diseñan algoritmos participen mujeres, no solo diseñando el algoritmo sino para contribuir a eliminar estereotipos o corregir datos que estén sesgados. Es decir, para introducir la perspectiva de género desde el diseño (gender-by-design) del propio sistema de inteligencia artificial. Además, si se trata de sistemas de IA de “alto riesgo” deberá exigirse, como hará la futura Ley europea de IA (art. 10), unos requisitos mínimos de calidad, dentro de los cuales se exige que los conjuntos de datos sean pertinentes, representativos, carezcan de errores y sean completos. La Ley Integral de Igualdad de 15 de julio de 2022, en su art. 23, recoge esta norma europea. Y además establece que se promoverá “un sello de calidad de los algoritmos”.
2. La segunda razón tiene que ver con posibles aplicaciones o usos que se hagan de un sistema basado en IA pues hay que tener presente que el sistema se alimenta constantemente de los datos que existen en su entorno, los cuales pueden ser “datos abiertos” accesibles para su reutilización por cualquiera. Éstos pueden contener sesgos de los que el sistema se alimenta y acabar reproduciéndolos en sus análisis, predicciones, perfiles y recomendaciones o, incluso, decisiones
¿Qué soluciones pueden darse en este caso? Que los sistemas de IA se diseñen y desarrollen de modo que puedan ser vigilados de manera efectiva por personas físicas durante el período que estén en uso, lo que incluye dotarlos de una herramienta de interfaz humano-máquina adecuada y hacer seguimiento del funcionamiento del sistema después de introducido en el mercado o puesto en servicio. Con ello se pretende prevenir o reducir al mínimo los riesgos y, entre ellos, los riesgos de que haya o se reproduzcan sesgos, que afecten a la salud, la seguridad o los derechos fundamentales incluso a pesar de que el sistema de IA se usa correctamente acorde con la finalidad prevista. De esta forma, la persona puede decidir parar el uso del sistema de IA, restaurar el sistema o intervenir en el funcionamiento del sistema, entre otras medidas (art. 14 Ley de IA).
Y si el uso que se hace del sistema de IA elabora un perfilado a partir del tratamiento automatizado de los datos personales discriminando a una mujer ¿qué soluciones legales hay? Pues de forma sucinta tenemos los siguientes:
- Tiene derecho, si se han recabado y tratado datos personales, a que se le informe acerca la lógica en la que se basa ese tratamiento (arts. 13 y 14 RGPD) cuando se elaboran perfiles o se adoptan decisiones automatizadas y de las consecuencias que se derivan de ello. Esta información significativa, de la que hablo, puede facilitar que la persona que se ha visto perjudicada por esa decisión automatizada o por la elaboración de ese perfil pueda exigir que se supriman sus datos (art. 17 RGPD), que se rectifiquen (art. 16 RGPD), que se limite el tratamiento (art. 18 RGPD), o también puede oponerse al tratamiento de sus datos personales incluida la oposición a la elaboración de perfiles (art. 21 RGPD). Asimismo, puede impugnar la decisión automatizada (art. 22.3 RGPD). Información ex ante.
- Una decisión tomada exclusivamente sobre la base del tratamiento automatizado de datos, incluido la elaboración de perfiles, que produzca “efectos jurídicos en el sujeto o le afecte significativamente de modo similar” está categóricamente prohibida por el art. 22.1 RGPD, salvo que el responsable del tratamiento demuestre que contaba con el consentimiento explícito del sujeto afectado o era legal o contractualmente necesario (art. 22.2 RGPD). Y, aún así, la persona afectada puede solicitar la intervención humana del responsable e impugnar la decisión adoptada de forma totalmente automatizada para lo cual muy probablemente necesita acceder a la información de la supuesta “caja negra” que tiene el sistema de IA.
- en el ámbito contractual, una negativa a contratar con él o que se incluyan, en el contrato en cuestión, por ejemplo, cláusulas que implican más deberes o cargas para el discriminado (art. 69.1 Ley Orgánica de Igualdad). El sujeto discriminado con base en una decisión automatizada puede solicitar que se declare la nulidad -total o parcial, según el supuesto- de aquellos negocios jurídicos celebrados o de algunas de sus cláusulas que, con base en ello, lo discriminan (art. 10 LOI).
Si el efecto que se deriva para el sujeto afectado es la negativa a contratar con él con base en el perfil establecido, que asimismo ha servido de base para una decisión automatizada y que asume la contraparte humana, podrá exigir la celebración del contrato con él. Así, aunque existe libertad para contratar y elegir a la contraparte, estatuye el art. 69.2 LOI, que esa libertad cede ante el hecho de que no se contrate a la contraparte por razón de sexo.
Adicionalmente, siempre y en todo caso, la persona perjudicada puede exigir que se le indemnicen los daños ocasionados (arts. 10 y 72.1 LOI), en especial, en estos casos, los morales.
Así que sí, la IA también tiene -también debería tener- nombre de mujer.
Susana Navas Navarro
Degana Facultat de Dret