Desde informar las decisiones de bienestar de su ayuntamiento local hasta escanear los rostros de los aficionados antes de un partido de fútbol para aumentar la seguridad: los algoritmos ya han encontrado muchas aplicaciones, pequeñas y grandes, en el sector público.
Pero el comité de estándares en la vida pública del Reino Unido ahora informa que el uso de la inteligencia artificial está superando rápidamente a la regulación cuando se trata de brindar ciertos servicios y que, en muchos casos, la falla en administrar adecuadamente la tecnología podría interferir con el ejercicio de los derechos de los ciudadanos. .
«Las deficiencias son notables», afirma el comité en un informe publicado hoy. «Esta revisión encontró que el gobierno está fallando en la apertura». El primer problema destacado por la organización, en efecto, es que nadie sabe exactamente dónde el gobierno utiliza actualmente la IA. Académicos, grupos de la sociedad civil y funcionarios públicos dijeron que no pudieron averiguar qué departamentos gubernamentales estaban usando la tecnología y cómo.
El informe advirtió que la regulación y la gobernanza de la IA en el sector público sigue siendo un trabajo en curso y dijo que existe una «necesidad urgente» de orientación práctica y regulación aplicable.
VER: Cómo implementar la IA y el aprendizaje automático (Informe especial de MarketingyPublicidad.es) | Descarga el informe en PDF (República Tecnológica)
Lord Evans, exjefe del MI5 que ahora preside el comité y dirigió la investigación, le dijo a MarketingyPublicidad.es: «Cuando comencé con este proyecto, pedí a mis investigadores que averiguaran dónde se usaban los algoritmos en el sector público, y simplemente no pudieron». t. Los periodistas intentan averiguarlo, y rara vez pueden. El gobierno tampoco publica ninguna auditoría sobre el alcance del uso de la IA».
«El problema es que no puedes ejercer tus derechos si ni siquiera sabes que se está utilizando una IA. Entonces, lo primero que debes abordar es la apertura».
Esa falta de transparencia podría pasar por aceptable si el despliegue de inteligencia artificial no conllevara ningún riesgo. Cuando la tecnología se utiliza simplemente para mejorar la eficiencia administrativa, por ejemplo, no se necesita más explicación que una declaración que describa la forma en que funciona el sistema.
Pero en el caso de decisiones de alto impacto, como la asignación de prestaciones sociales o la elaboración de perfiles de presuntos delincuentes, las cosas se complican más. Eso es porque los algoritmos vienen con una falla que ahora es de conocimiento común: el sesgo de datos. Como dice el adagio, «si entra basura, sale basura»; o en otras palabras, un sistema de IA que incluya sesgos raciales, de género o ideológicos tomará decisiones injustas y discriminatorias.
El gobierno busca cada vez más implementar IA en procesos de toma de decisiones de alto impacto en sectores como la policía, la educación, la atención social y la salud. «Si usamos estos sistemas donde podría afectar los derechos de los ciudadanos, entonces deberíamos tener absolutamente claro cuáles son los riesgos», dijo Evans. «Y tenemos que gestionar el riesgo, pero no estoy seguro de que lo estemos en este momento».
En los últimos años abundan los ejemplos de algoritmos probados y testeados en servicios clave del sector público, y que a menudo se enfrentan a protestas por los sesgos que perpetran. La Oficina de Estándares en Educación (Ofsted), por ejemplo, comenzó a usar el aprendizaje automático para calificar las escuelas y priorizar las inspecciones en 2017. Los maestros no perdieron tiempo en protestar contra la herramienta, argumentando que el algoritmo era injusto, carecía de transparencia y exacerbaría sesgos preexistentes dentro del sistema educativo.
Para los fines de la investigación, Evans habló con varios trabajadores del sector público, incluidos médicos, quienes, según él, fueron «muy tranquilizadores». Los profesionales médicos están acostumbrados a integrar nuevas tecnologías en su trabajo, dijo, y tienen una serie de protocolos para garantizar que la inteligencia artificial se implemente de manera segura; pero ese no es el caso en algunos otros campos.
«Dentro del cuerpo médico, existen pruebas y escrutinios adecuados para saber exactamente cuál es el riesgo y garantizar que se gestione adecuadamente», dijo Evans. «Pero mirando a la policía, por ejemplo, no existe la misma disciplina intelectual cuando se trata de introducir nuevas tecnologías. Este es el campo donde se han expresado preocupaciones».
El informe señala que no existe un proceso claro para evaluar, adquirir o implementar tecnologías como el reconocimiento facial dentro de la fuerza policial. De hecho, a menudo depende de los departamentos de policía individuales crear sus propios marcos éticos, que hasta ahora han tenido «resultados mixtos».
En 2017, por ejemplo, la policía del Reino Unido en Durham comenzó a usar un algoritmo para ayudar a los oficiales a tomar decisiones de custodia. Llamado Harm Assessment Risk Tool (HART), el sistema fue entrenado con información sobre 104,000 personas arrestadas en la ciudad durante un período de cinco años, y fue diseñado para determinar si los sospechosos tenían un riesgo bajo, moderado o alto de re- ofendiendo
Entre los datos utilizados por Hart estaba la edad, el género y el código postal de los sospechosos; pero dado que la información geográfica tiene el potencial de reflejar comunidades raciales, la iniciativa inmediatamente generó críticas de los defensores de la privacidad. Big Brother Watch incluso condenó los «perfiles toscos y ofensivos» de la tecnología.
El informe del comité enfatizó que la forma en que la policía maneja los algoritmos es «mucho más» representativa del sector público en general que la IA en el cuidado de la salud. Y las deficiencias del gobierno no están exentas de consecuencias. La revisión encontró que más de la mitad del público cree que una mayor transparencia los haría mucho más cómodos con el uso de la IA en el sector público.
Evans dijo: «Debe haber una visibilidad proactiva, una base legal clara y una forma de saber cómo reparar y apelar si algo sale mal».
VER: Big data y sus registros médicos: ¿Es hora de confiar en la gran tecnología?
Es probable que el derecho a apelar de manera efectiva se convierta en un punto de atención importante si el gobierno quiere asegurar a los ciudadanos que no son impotentes frente a las decisiones informadas por los algoritmos. El Reglamento General de Protección de Datos (GDPR), por ejemplo, ya describe los derechos de las personas contra las decisiones automatizadas. La ley europea establece que las organizaciones deben introducir formas simples para que los ciudadanos soliciten la intervención humana o impugnen una decisión automatizada.
Queda por ver, sin embargo, cómo se aplican las reglas en casos de la vida real. A principios de este año, por ejemplo, se informó que el Ministerio del Interior utilizó una herramienta algorítmica para transmitir las solicitudes de visa. Debido al riesgo que conllevaba la tecnología de discriminar a ciertos países, los grupos de campaña exigieron más claridad sobre el funcionamiento interno de la herramienta, pero el Ministerio del Interior se negó a proporcionar detalles sobre la forma en que se etiquetaron los diferentes países en el conjunto de datos del algoritmo.
Por lo tanto, las cajas negras algorítmicas no son una rareza. Y si una demanda de transparencia encuentra resistencia por parte del gobierno, es aún menos claro cómo se trataría una solicitud de apelación. Agregue las preguntas de quién es responsable de una decisión informada por un sistema de IA, y está claro por qué el uso de IA sigue siendo controvertido y por qué el gobierno tiene problemas para mantenerse al día.
