Big bad data: no confiamos en la IA para tomar buenas decisiones

Big bad data no confiamos en la IA para tomar

Los recientes percances tecnológicos del gobierno del Reino Unido aparentemente han dejado un sabor amargo en la boca de muchos ciudadanos británicos. Un nuevo informe de la British Computer Society (BCS), el Chartered Institute for IT, ha revelado que más de la mitad de los adultos del Reino Unido (53 %) no confían en las organizaciones que utilizan algoritmos para tomar decisiones sobre ellos.

La encuesta, realizada con más de 2000 encuestados, se produce después de un verano tumultuoso, sacudido por el alboroto de los estudiantes después de que se supo que el regulador de exámenes Ofqual usó un algoritmo injusto para predecir los resultados de A-level y GCSE, después de la pandemia de COVID-19. impidió que se realizaran los exámenes.

El algoritmo de Ofqual basó efectivamente las predicciones en el desempeño anterior de las escuelas, lo que llevó a una disminución significativa de los resultados que afectó particularmente a las escuelas públicas, mientras favorecía a las escuelas privadas.

VER: Gestión de IA y ML en la empresa 2020: los líderes tecnológicos aumentan el desarrollo y la implementación de proyectos (Premium de TechRepublic)

El gobierno rápidamente dio marcha atrás y permitió que los estudiantes adoptaran calificaciones previstas por los maestros en lugar de resultados basados ​​en algoritmos. Podría haber sido demasiado poco, demasiado tarde: solo el 7% de los encuestados por BCS dijeron que confiaban en los algoritmos utilizados específicamente en el sector educativo.

El porcentaje es el más bajo junto con el nivel de confianza depositado en los algoritmos utilizados por los servicios sociales y las fuerzas armadas; y es incluso más bajo que el de los encuestados que informaron confiar en los algoritmos de las empresas de redes sociales para ofrecer contenido y una experiencia de usuario directa (8 %).

Bill Mitchell, director de políticas de BCS, dijo a MarketingyPublicidad.es que los eventos recientes han hecho retroceder «seriamente» la confianza de las personas en la forma en que se utilizan los algoritmos para tomar decisiones sobre ellos, y que esto tendrá consecuencias a largo plazo.

«Pero al mismo tiempo, en realidad ha planteado en la mente de las personas el hecho de que los algoritmos son ubicuos», agregó Mitchell. «Los algoritmos siempre están ahí, las personas se dan cuenta de que ese es el caso y se preguntan: ‘¿Por qué debería confiar en su algoritmo?'»

«Eso es perfecto, es justo lo que la gente debería estar preguntando, y el resto de nosotros involucrados en el diseño y la implementación de esos algoritmos deberíamos estar listos para explicar por qué un algoritmo determinado funcionará en beneficio de las personas y no se utilizará para hacer daño».

La prevalencia de los sistemas de IA ocultos en la prestación de servicios públicos críticos fue señalada por el comité de estándares en la vida pública del Reino Unido en febrero pasado, en un informe que enfatizó la falta de apertura y transparencia del gobierno en su uso de la tecnología.

Uno de los principales problemas identificados por el informe en ese momento fue que nadie sabe exactamente dónde el gobierno usa actualmente la IA. Al mismo tiempo, los servicios públicos buscan cada vez más implementar IA en procesos de toma de decisiones de alto impacto en sectores como la policía, la educación, la atención social y la salud.

Con la falta de claridad en torno al uso de algoritmos en áreas que pueden tener un gran impacto en la vida de los ciudadanos, la desconfianza del público en algunas tecnologías utilizadas en los servicios gubernamentales no debería ser una sorpresa, ni tampoco los intentos de revertir los efectos dañinos de un algoritmo sesgado sea ignorado.

«Lo que hemos visto que sucede en las escuelas muestra que cuando el público quiere, claramente puede tomar posesión», dijo Mitchell, «pero no estoy seguro de que queramos estar en una situación en la que si hay algún problema con un algoritmo, terminamos con disturbios en las calles».

En cambio, argumentó Mitchell, debería haber una forma sistemática de interactuar con el público antes de que se lancen los algoritmos, para aclarar exactamente a quién afectará la tecnología, qué datos se utilizarán, quién será responsable de los resultados y cómo se puede arreglar el sistema. si algo sale mal.

En otras palabras, no se trata solo de asegurarse de que los ciudadanos sepan cuándo un sistema de IA toma decisiones, sino también de implementar estándares rigurosos en la elaboración del propio algoritmo.

«Si me pides que demuestre que puedes confiar en mi algoritmo», dijo Mitchell, «como profesional, necesito poder mostrarte, la persona a la que afecta este algoritmo, que sí, puedes confiar en mí como profesional».

VER: Lenguajes de programación: es más probable que los usuarios de Julia se pasen a Python para la ciencia de datos

Incrustar esos estándares en las fases de diseño y desarrollo de los sistemas de IA es una tarea difícil, porque hay muchas capas de elecciones hechas por diferentes personas en diferentes momentos a lo largo del ciclo de vida de un algoritmo. Pero para recuperar la confianza del público, argumentó Mitchell, es necesario hacer de la ciencia de datos una profesión confiable, tan confiable como la profesión de médico o abogado.

El último informe del BCS, de hecho, mostró que el NHS era la organización en la que más confiaban los ciudadanos cuando se trata de decisiones generadas por algoritmos. Hasta el 17 % de los encuestados dijeron que tenían fe en la toma de decisiones automatizada en el NHS, y el número saltó al 30 % entre los jóvenes de 18 a 24 años.

«La gente confía en el NHS porque confía en los médicos y las enfermeras. Son profesionales que deben cumplir con los estándares correctos y, si no lo hacen, los expulsan», dijo Mitchell. «En la profesión de TI, no tenemos lo mismo y, sin embargo, ahora estamos viendo que se utilizan algoritmos en situaciones de mucho riesgo».

¿El público alguna vez confiará en los científicos de datos como confía en su médico? La idea puede parecer incongruente. Pero con la IA impregnando más aspectos de la vida de los ciudadanos todos los días, lograr que el público participe se convertirá en una prioridad para la profesión de la ciencia de datos en su conjunto.

Deja un comentario