Un sistema de reconocimiento facial basado en inteligencia artificial provocó el arresto y encarcelamiento de un hombre inocente en San Diego, California, después de que los agentes dieran más peso a la salida del algoritmo que a pruebas físicas que lo exculpaban, según ha trascendido este miércoles.
Los investigadores disponían de una marca de tiempo que situaba al sospechoso identificado por la IA fuera de la escena del crimen en el momento de los hechos. Además, el individuo no portaba el arma que se buscaba y vestía una sudadera de color distinto al descrito por los testigos. Sin embargo, la indicación del sistema prevaleció sobre toda esa evidencia contradictoria.
El peso del algoritmo sobre las pruebas
“La respuesta del algoritmo superó todo lo demás”, señalaron fuentes cercanas al caso, en un ejemplo paradigmático de cómo la confianza ciega en sistemas automatizados puede socavar principios básicos del proceso judicial.
El error pone de relieve los riesgos del sesgo tecnológico en el sistema penal estadounidense, donde cada vez más departamentos de policía emplean herramientas de reconocimiento facial sin los controles de fiabilidad adecuados. En este caso, la identificación errónea no fue corregida ni siquiera cuando las pruebas físicas la contradecían abiertamente.
Organizaciones de derechos civiles han denunciado que estos sistemas presentan tasas de error sistemáticamente más altas con minorías étnicas, aunque el informe no especifica el perfil del detenido. El incidente ha reabierto el debate sobre la moratoria del uso de reconocimiento facial por parte de las fuerzas de seguridad hasta que se garanticen estándares mínimos de precisión.
