El algoritmo también tiene malos días

El algoritmo también tiene malos días

Un algoritmo entrenado con datos históricos aprende también los sesgos que había en esos datos. Si durante años solo ascendió cierto perfil de persona, un modelo que aprenda de ese histórico tenderá a recomendar exactamente lo mismo, con la apariencia de objetividad que da un número.

• Un algoritmo no es neutral por definición, es tan sesgado como los datos con los que se entrena.
• La apariencia de objetividad de un número puede esconder un sesgo más difícil de detectar que el de una persona.
• Auditar un sistema de evaluación por sesgo no es opcional si se usa para decidir sobre personas.

Objetividad aparente, sesgo heredado

Cada vez más organizaciones incorporan modelos de puntuación automática para evaluar candidaturas, medir potencial o priorizar planes de sucesión. Pocas se han preguntado con seriedad si esos modelos perpetúan patrones históricos que preferirían no repetir.

El sesgo algorítmico rara vez es intencionado, y eso es precisamente lo que lo hace peligroso, nadie decide activamente discriminar, pero el sistema aprende de un pasado que ya tenía sus propios desequilibrios y los reproduce con la autoridad silenciosa de un dato.

• Modelos de potencial entrenados con históricos de ascensos que no eran precisamente equilibrados.
• Puntuaciones automáticas que penalizan trayectorias no lineales sin que nadie sepa explicar por qué.
• Decisiones justificadas con un número que nadie ha auditado desde que se implantó el sistema.

Auditar el modelo es parte del liderazgo

Creemos que la tecnología puede ayudar a reducir el sesgo humano, pero solo si se diseña y se revisa con esa intención explícita. Sin auditoría, un algoritmo no elimina el sesgo, simplemente lo esconde detrás de un número que parece más difícil de cuestionar que la opinión de una persona.

Por eso insistimos en tratar cualquier modelo de evaluación como algo vivo que necesita revisión constante, no como una caja negra que se instala una vez y se da por buena para siempre. La equidad no se resuelve en el momento del diseño, se sostiene con auditorías periódicas.

Cómo vigilar sesgo sin abandonar el dato

Reducir el sesgo algorítmico en la evaluación de talento es posible con un proceso disciplinado, no con una promesa genérica de imparcialidad.

1. Auditar los datos de entrenamiento antes que el modelo
   • Revisar si los datos históricos usados para entrenar un sistema reflejan patrones que no se quieren repetir.
   • Corregir el sesgo en el origen es más eficaz que corregirlo después en las puntuaciones.
2. Comparar resultados por grupos de forma periódica
   • Revisar si el sistema puntúa de forma distinta a perfiles comparables por razones que no deberían pesar.
   • Hacerlo con una cadencia fija, no solo cuando surge una queja.
3. Mantener siempre una vía de revisión humana
   • Cualquier persona afectada por una puntuación automática debería poder pedir que alguien la revise.
   • Esa vía de revisión debe ser real, no un trámite simbólico.
4. Documentar y comunicar los criterios del sistema
   • Explicar, en lenguaje comprensible, qué variables usa el modelo y por qué.
   • La opacidad es, en sí misma, un factor de riesgo de sesgo no detectado.

Preguntas antes de confiar en una puntuación

Antes de confiar una decisión más a un sistema automático, conviene preguntarse:

• ¿Con qué datos históricos se entrenó el modelo que usáis para evaluar talento?
• ¿Habéis comparado alguna vez cómo puntúa el sistema a perfiles distintos con méritos comparables?
• ¿Existe una vía real para que alguien cuestione una puntuación automática que le afecta?
• ¿Cuándo fue la última vez que auditasteis vuestro sistema de evaluación por sesgo?
• ¿Sabríais explicar, sin acudir al proveedor, por qué el sistema puntúa como puntúa?

Auditemos juntos lo que recomienda vuestro modelo

No hace falta desconfiar de toda la tecnología para tomarse en serio el sesgo algorítmico. Hace falta someterla al mismo escrutinio que se aplicaría a cualquier persona que decide sobre otras.

Si queréis revisar cómo de auditados están vuestros sistemas de evaluación, hablemos. Es una revisión que suele aportar tranquilidad, incluso cuando encuentra algo que corregir.