El gobierno del Reino Unido se encuentra suspendiendo el uso de un algoritmo utilizado para transmitir las solicitudes de visa , posterior a que surgieran una serie de preocupaciones al respecto de que la tecnología se basa en prejuicios inconscientes y racismo.
La herramienta había sido objeto de un desafío legal. El Consejo Conjunto para el Bienestar de los Inmigrantes ( JCWI ) y el bufete de abogados en campaña Foxglove habían pedido a un tribunal que declarara ilegal el algoritmo de transmisión de la solicitud de visa y ordenara su suspensión, en espera de una revisión judicial.
De acuerdo con el portal Tech Crunch, la acción legal no había seguido su curso completo, pero parece haber forzado la mano del Ministerio del Interior, ya que se ha comprometido a un rediseño del sistema.
De igual manera, un portavoz del Ministerio del Interior confirmó a Tech Crunch que a partir del 7 de agosto se suspenderá el uso del algoritmo, junto con la siguiente declaración por correo electrónico: "Hemos estado revisando cómo funciona la herramienta de transmisión de solicitudes de visa y rediseñaremos nuestros procesos para hacerlos aún más eficientes y seguros."
Leer también
Aunque el gobierno no ha aceptado las acusaciones de parcialidad, escribiendo una carta al bufete de abogados: “El hecho del rediseño no significa que el [Secretario de Estado] acepte las alegaciones en su formulario de reclamación [es decir, alrededor de parcialidad inconsciente y uso de la nacionalidad como criterio en el proceso de transmisión] ".
La carta del Ministerio del Interior también afirma que el departamento ya se había alejado del uso de la herramienta de transmisión "en muchos tipos de aplicaciones". Pero agrega que abordará el rediseño "con una mente abierta al considerar las preocupaciones que ha planteado".
El rediseño está programado para completarse en otoño, y el Ministerio del Interior dice que, mientras tanto, se implementará un proceso provisional, excluyendo el uso de la nacionalidad como criterio de clasificación.
El JCWI ha reclamado una victoria contra lo que describe como un sistema de cribado de personas "sombrío, impulsado por computadora", escribiendo en su sitio web: "La victoria de hoy representa el primer desafío judicial exitoso del Reino Unido a un sistema de decisión algorítmica. Le solicitamos al Tribunal que declarara ilegal el algoritmo de transmisión y que suspendiera su uso para evaluar las solicitudes de visa, en espera de una revisión. La decisión del Ministerio del Interior reconoce efectivamente el reclamo ".
El departamento no respondió a una serie de preguntas que le hicimos sobre el algoritmo y sus procesos de diseño, incluido si buscó asesoramiento legal antes de implementar la tecnología para determinar si cumplía con la Ley de Igualdad del Reino Unido.
"No aceptamos las acusaciones del Consejo Conjunto para el Bienestar de los Inmigrantes hechas en su reclamo de Revisión Judicial y, mientras el litigio aún está en curso, no sería apropiado que el Departamento haga más comentarios", agregó la declaración del Ministerio del Interior.
La queja de JCWI se centró en el uso, desde 2015, de un algoritmo con un "sistema de semáforo" para calificar cada solicitud de visa de entrada al Reino Unido.
“La herramienta, que el Ministerio del Interior describió como una 'herramienta de transmisión' digital, asigna una calificación de riesgo Roja, Ámbar o Verde a los solicitantes. Una vez asignado por el algoritmo, esta calificación desempeña un papel importante en la determinación del resultado de la solicitud de visa ", escribe , y llama a la tecnología" racista "y discriminatoria por diseño, dado su tratamiento de ciertas nacionalidades.
Leer también:
“El algoritmo de visa discriminó por nacionalidad, por diseño. Las solicitudes realizadas por personas con nacionalidades "sospechosas" recibieron una calificación de riesgo más alta. Sus solicitudes recibieron un escrutinio intensivo por parte de los funcionarios del Ministerio del Interior, fueron abordadas con más escepticismo, tomaron más tiempo para determinar y era mucho más probable que fueran rechazadas.
"Argumentamos que esto era discriminación racial y violó la Ley de Igualdad de 2010", agrega. “La herramienta de transmisión era opaca. Además de admitir la existencia de una lista secreta de nacionalidades sospechosas, el Ministerio del Interior se negó a proporcionar información significativa sobre el algoritmo. No está claro qué otros factores se usaron para calificar las aplicaciones ".
Desde 2012, el Ministerio del Interior ha operado abiertamente una política de inmigración conocida como el ' entorno hostil' , aplicando procesos administrativos y legislativos que tienen como objetivo dificultar lo más posible que las personas se queden en el Reino Unido.
La política ha llevado a una serie de escándalos de derechos humanos . (También cubrimos el impacto en el sector tecnológico local al contar la historia de la pesadilla de visas de una startup del Reino Unido el año pasado ). Por lo tanto, aplicar la automatización sobre una política ya muy problemática parece una fórmula para ser llevado a los tribunales.
La preocupación de JCWI en torno a la herramienta de transmisión era exactamente que se estaba utilizando para automatizar el racismo y la discriminación que muchos argumentan apuntalan la política de "ambiente hostil" del Ministerio del Interior. En otras palabras, si la política en sí misma es racista, cualquier algoritmo lo recogerá y lo reflejará.
"La propia revisión independiente del Ministerio del Interior del escándalo de Windrush, encontró que era ajeno a los supuestos y sistemas racistas que opera", dijo Chai Patel, directora de política legal de la JCWI , en un comunicado. “Esta herramienta de transmisión llevó décadas de prácticas institucionalmente racistas, como atacar a nacionalidades particulares para redadas de inmigración, y las convirtió en software. El sistema de inmigración necesita ser reconstruido desde cero para monitorear ese sesgo y erradicarlo ”.