La IA no es neutral. Aprende de datos históricos, y si la historia de contratación de una empresa tiene sesgos (conscientes o inconscientes), el algoritmo los aprenderá y, peor aún, los amplificará a gran escala.
El peligro de la 'caja negra'
Muchas herramientas de filtrado de CVs funcionan como cajas negras: introducimos datos y obtenemos una clasificación, sin entender los criterios exactos. Si el sistema detecta que históricamente se contrataron más hombres para puestos directivos, podría empezar a penalizar palabras asociadas a perfiles femeninos o universidades femeninas.
La auditoría algorítmica se vuelve, por tanto, en una responsabilidad crítica del departamento de Recursos Humanos. No basta con comprar la herramienta; hay que supervisarla.
Estrategias de mitigación
- Datos diversos: Entrenar los modelos con datasets equilibrados y representativos.
- Auditoría continua: Revisar periódicamente las decisiones de la IA para detectar patrones discriminatorios.
- Human-in-the-loop: Mantener siempre el criterio humano en la decisión final, usando la IA solo como soporte.
Tin Soler