La lucha de dos años para evitar que Amazon venda reconocimiento facial a la policía

Pero el miércoles 10 de junio, Amazon sorprendió a los activistas e investigadores de los derechos civiles cuando anunció que colocaría una moratoria de un año sobre el uso policial de Rekognition. La medida siguió a la decisión de IBM de descontinuar su sistema de reconocimiento facial de uso general. El día siguiente, Microsoft anunció que dejaría de vender su sistema a los departamentos de policía hasta que la ley federal regule la tecnología. Si bien Amazon hizo la concesión más pequeña de las tres compañías, también es el mayor proveedor de tecnología para la aplicación de la ley. La decisión es la culminación de dos años de investigación y presión externa para demostrar las fallas técnicas de Rekognition y su potencial de abuso.

“Es increíble que Amazon realmente esté respondiendo en esta conversación actual sobre el racismo”, dijo Deborah Raji, una investigadora de responsabilidad de IA que es coautora un estudio fundamental sobre los prejuicios raciales y las imprecisiones integradas en la tecnología de la empresa. “Simplemente habla del poder de este momento actual”.

“Un año es un comienzo”, dice Kade Crockford, directora del programa de libertad tecnológica de la ACLU de Massachusetts. “Es absolutamente una admisión por parte de la compañía, al menos implícitamente, que lo que los defensores de la justicia racial les han estado diciendo durante dos años es correcto: la tecnología de vigilancia facial pone en peligro a las personas negras y marrones en los Estados Unidos. Esa es una admisión notable “.

Dos años en la fabricación

En febrero de 2018, el investigador del MIT Joy Buolamwini y Timnit Gebru, entonces investigador de Microsoft, publicaron un estudio pionero llamado Gender Shades sobre los prejuicios raciales y de género integrados en los sistemas comerciales de reconocimiento facial. En ese momento, el estudio incluyó los sistemas vendidos por Microsoft, IBM y Megvii, uno de los mayores proveedores de reconocimiento facial de China. No abarcaba la Rekognición de Amazon.

Sin embargo, fue el primer estudio de este tipo, y los resultados fueron impactantes: el peor sistema, el de IBM, fue 34.4 puntos porcentuales peor al clasificar el género para las mujeres de piel oscura que para los hombres de piel clara. Los hallazgos inmediatamente desacreditaron las afirmaciones de precisión que las compañías habían estado utilizando para vender sus productos y provocaron un debate sobre el reconocimiento facial en general.

A medida que se desarrollaba el debate, pronto se hizo evidente que el problema también era más profundo que los datos de entrenamiento asimétricos o los algoritmos imperfectos. Incluso si los sistemas alcanzaran el 100% de precisión, aún podrían implementarse de manera peligrosa, advirtieron muchos investigadores y activistas.

Oprah clasificada erróneamente por reconocimiento facial
Una foto del video poema de Joy Buolamwini “AI, ¿No soy una mujer?” mostrando algunos de los atroces errores cometidos por Rekognition.

CORTESÍA DE LA LIGA DE JUSTICIA ALGORITMICA

“Hay dos formas en que esta tecnología puede dañar a las personas”, dice Raji, quien trabajó con Buolamwini y Gebru en Gender Shades. “Una forma es no trabajar: en virtud de tener tasas de error más altas para las personas de color, los pone en mayor riesgo. La segunda situación es cuando hace trabajo: donde tienes el sistema de reconocimiento facial perfecto, pero se arma fácilmente contra las comunidades para acosarlos. Es una conversación separada y conectada “.

“El trabajo de Gender Shades fue exponer la primera situación”, dice ella. Al hacerlo, creó una abertura para exponer el segundo.

Amazon trató de desacreditar su investigación; intentó socavarlas como mujeres negras que lideraron esta investigación.

Meredith Whittaker

Esto es lo que sucedió con IBM. Después de que se publicó Gender Shades, IBM fue una de las primeras compañías que contactó a los investigadores para descubrir cómo solucionar sus problemas de sesgo. En enero de 2019, lanzó un conjunto de datos llamado Diversidad en caras, que contiene más de 1 millón de imágenes de caras anotadas, en un esfuerzo por mejorar dichos sistemas. Pero el movimiento fracasó después de que la gente descubriera que las imágenes fueron eliminadas de Flickr, lo que plantea problemas de consentimiento y privacidad. Se desencadenó otra serie de discusiones internas sobre cómo entrenar éticamente el reconocimiento facial. “Los condujo por el agujero del conejo al descubrir la multitud de problemas que existen con esta tecnología”, dice Raji.

Así que, en última instancia, no fue una sorpresa cuando la compañía finalmente desconectó. (Críticas señalar que su sistema no tenía mucho apoyo en el mercado de todos modos.) IBM “simplemente se dio cuenta de que los” beneficios “no eran de ninguna manera proporcionales al daño”, dice Raji. “Y en este momento en particular, era el momento adecuado para que se hicieran públicos al respecto”.

Pero mientras IBM respondía a los comentarios externos, Amazon tuvo la reacción opuesta. En junio de 2018, en medio de todas las otras cartas exigiendo que la compañía deje de usar la policía de Rekognition, Raji y Buolamwini expandió la auditoría de Tonos de género para abarcar su rendimiento. Los resultados, publicados medio año después en un artículo revisado por pares, una vez más encontraron enormes inexactitudes técnicas. Rekognition clasificaba el género de las mujeres de piel oscura 31.4 puntos porcentuales con menos precisión que el de los hombres de piel clara.

En julio, la ACLU del norte de California también realizó su propio estudio, descubriendo que el sistema combinaba fotos falsas de 28 miembros del Congreso de los Estados Unidos con fotos policiales. Los partidos falsos eran desproporcionadamente personas de color.

Sin embargo, en lugar de reconocer los resultados, Amazon publicó dos Blog publicaciones alegando que el trabajo de Raji y Buolamwini fue engañoso. En respuesta, casi 80 investigadores de IA, incluido el ganador del Premio Turing Yoshua Bengio, defendió el trabajo y una vez más pidió a la compañía que dejara de vender reconocimiento facial a la policía.

“Fue una experiencia tan emotiva en ese momento”, recuerda Raji. “Habíamos hecho tanta diligencia debida con respecto a nuestros resultados. Y luego la respuesta inicial fue tan directamente confrontativa y agresivamente defensiva ”.

“Amazon intentó desacreditar su investigación; intentó socavarlas como mujeres negras que lideraron esta investigación ”, dice Meredith Whittaker, cofundadora y directora del AI Now Institute, que estudia los impactos sociales de la IA. “Trató de generar una narrativa de que se habían equivocado, que cualquiera que entendiera claramente la tecnología sabría que esto no era un problema”.

La medida realmente puso a Amazon en peligro político.

Mutale Nkonde

De hecho, como estaba rechazando públicamente el estudio, Amazon estaba comenzando a invertir en la búsqueda de soluciones detrás de escena. Contrató a un líder de equidad, invirtió en una beca de investigación NSF para mitigar los problemas, y lanzó una nueva versión de Rekognition unos meses más tarde, respondiendo directamente a las preocupaciones del estudio, dice Raji. Al mismo tiempo rechazar los esfuerzos de los accionistas suspender las ventas de la tecnología y realizar una evaluación independiente de los derechos humanos. También gastaron millones presionar al Congreso para evitar la regulación.

Pero luego todo cambió. El 25 de mayo de 2020, el oficial Derek Chauvin asesinó a George Floyd, provocando un movimiento histórico en los Estados Unidos para combatir el racismo institucional y poner fin a la brutalidad policial. En respuesta, los demócratas de la Cámara y el Senado presentaron un proyecto de ley de reforma policial eso incluye una propuesta para limitar el reconocimiento facial en un contexto de aplicación de la ley, lo que marca el mayor esfuerzo federal para regular la tecnología. Cuando IBM anunció que suspendería su sistema de reconocimiento facial, también envió una carta al Caucus Negro del Congreso, instando a “un diálogo nacional sobre si las agencias nacionales de aplicación de la ley deberían emplear la tecnología de reconocimiento facial y cómo”.

“Creo que la decisión de IBM de enviar esa carta, en el momento en que el mismo cuerpo legislativo está considerando un proyecto de ley de reforma policial, realmente cambió el panorama”, dice Mutale Nkonde, asesor de políticas de inteligencia artificial y miembro del Centro Berkman Klein de Harvard. “Aunque no fueron un gran jugador en el reconocimiento facial, la medida realmente puso a Amazon en peligro político”. Estableció un vínculo claro entre la tecnología y la conversación nacional en curso, de una manera que fue difícil para los reguladores ignorar.

Un optimismo cauteloso

Pero mientras activistas e investigadores ven la concesión de Amazon como una gran victoria, también reconocen que la guerra no ha terminado. Por un lado, el anuncio de 102 palabras de Amazon fue vago en cuanto a detalles sobre si su moratoria abarcaría a las agencias policiales más allá de la policía, como el Servicio de Inmigración y Control de Aduanas de los Estados Unidos o el Departamento de Seguridad Nacional. (Amazon no respondió a una solicitud de comentarios). Por otro lado, el vencimiento de un año también es una señal de alerta.

“La parte cínica de mí dice que Amazon va a esperar hasta que las protestas desaparezcan, hasta que la conversación nacional cambie a otra cosa, para volver a su posición anterior”, dice Crockford de la ACLU. “Estaremos observando de cerca para asegurarnos de que estas empresas no estén recibiendo una buena prensa de manera efectiva para estos anuncios recientes mientras trabajamos simultáneamente detrás de escena para frustrar nuestros esfuerzos en las legislaturas”.

Es por eso que activistas e investigadores también creen que la regulación desempeñará un papel crítico en el futuro. “La lección aquí no es que las empresas deben autogobernarse”, dice Whittaker. “La lección es que necesitamos más presión, y que necesitamos regulaciones que garanticen que no solo estamos mirando una prohibición de un año”.

La parte cínica de mí dice que Amazon va a esperar hasta que las protestas desaparezcan … para volver a su posición anterior.

Kade Crockford

Los críticos dicen que las estipulaciones sobre el reconocimiento facial en el proyecto de ley de reforma policial actual, que solo prohíbe su uso en tiempo real en cámaras corporales, no son lo suficientemente amplias como para hacer que los gigantes tecnológicos sean totalmente responsables. Pero Nkonde es optimista: ve este primer conjunto de recomendaciones como una semilla para la regulación adicional por venir. Una vez aprobados, se convertirán en un punto de referencia importante para otros proyectos de ley escritos para prohibir el reconocimiento facial en otras aplicaciones y contextos.

Hay “realmente un movimiento legislativo más amplio” tanto a nivel federal como local, dice ella. Y el hecho de que la muerte de Floyd haya brillado en las prácticas policiales racistas ha acelerado su amplio apoyo.

“Realmente no debería haber tomado los asesinatos policiales de George Floyd, Breonna Taylor y demasiados negros, y cientos de miles de personas que salen a las calles de todo el país, para que estas compañías se den cuenta de que las demandas de los negros … y las organizaciones y académicos liderados por el sector marrón, de la ACLU y de muchos otros grupos eran moralmente correctos ”, dice Crockford. “Pero aquí estamos. Mejor tarde que nunca.”

Recent Articles

£ 70 por un videojuego es una locura y me desanime comprar una PS5

Demon's Souls: una compra cara (foto: Sony)Un lector reconsidera sus planes de comprar una PS5 y culpa del retroceso de Sony a los juegos...

El abogado de Anurag Kashyap emite una declaración en su nombre: Mi cliente se ha sentido profundamente dolido por las falsas acusaciones de conducta...

Mientras Anurag Kashyap desestimó todas las acusaciones de conducta sexual inapropiada en su contra por la actriz Payal Ghosh, anunció en su cuenta de...

Juez de EE. UU. Aprueba mandato judicial para retrasar las restricciones de WeChat

Un juez de EE. UU. Aprobó una solicitud de un grupo de usuarios de WeChat de EE. UU. Para retrasar las inminentes restricciones del...

Trump se toma en serio la interferencia electoral

Microsoft lanzó un reporte este mes documentando...

Related Stories

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí