Algoritmos tecnológicos para detener a ISIS están borrando evidencia de crímenes de guerra

FAcusado por un soldado de la oposición siria que viajaba en la parte trasera de una camioneta, el metraje inestable publicado en Facebook el 14 de octubre, mostró a las tropas turcas caminando alegremente a través de una llanura rocosa en el norte de Siria hacia una ciudad que acababa de ser abandonada por las fuerzas estadounidenses.

Fue uno de una serie de videos publicados por el periodista ciudadano Abo Liath Aljazarawy en su página de Facebook, que relata una rápida remodelación del mapa político del norte de Siria después de que el presidente Trump ordenó a las tropas estadounidenses retirarse de la región a principios de ese mes.

Pero días después, los videos habían desaparecido de Internet. Facebook había prohibido su página.

Aljazarawy, quien pidió que un seudónimo lo refiriera por su seguridad, había estado usando la página, llamada Ojo en Alhasakah después de su ciudad natal, para compartir información sobre la guerra civil siria con sus 50,000 seguidores. Algunos días, como el de octubre, compartió noticias de movimientos de tropas. En otros, publicó videos o fotografías que muestran las sangrientas secuelas de los ataques militares. El punto, dice, era mantener informada a la gente común. “No tenemos lealtad a nadie”, dijo Aljazarawy a TIME. “La mayoría de nuestros seguidores son personas comunes”.

Pero los videos y fotografías que compartió que muestran la realidad de la guerra civil siria fueron la razón por la cual su página fue prohibida. Facebook confirmó a TIME que Ojo en Alhasakah fue marcado a fines de 2019 por sus algoritmos, así como por los usuarios, por compartir “contenido extremista”. Luego se canalizó a un moderador humano, que decidió eliminarlo. Después de ser notificado por TIME, Facebook restauró la página a principios de febrero, unas 12 semanas después, diciendo que el moderador había cometido un error. (Facebook se negó a decir qué videos específicos se marcaron incorrectamente, excepto que había varios).

Los algoritmos se desarrollaron en gran medida en reacción al ISIS, que conmocionó al mundo en 2014 cuando comenzaron a compartir videos en línea de ejecuciones y batallas como propaganda. Debido a la forma muy real en que estos videos radicalizaron a los espectadores, la coalición liderada por Estados Unidos en Irak y Siria trabajó horas extras para reprimirlos, y alistó las redes sociales para ayudar. Rápidamente, las compañías descubrieron que había demasiado contenido para que incluso un gran equipo humano pudiera lidiar. (Más de 500 horas de video se suben a YouTube cada minuto). Entonces, desde 2017, rogamos han estado usando algoritmos para detectar automáticamente contenido extremista. Al principio, esos algoritmos eran crudos y solo complementaban el trabajo de los moderadores humanos. Pero ahora, después de tres años de entrenamiento, son responsables de una proporción abrumadora de detecciones. Facebook ahora dice que más del 98% del contenido eliminado por violar sus reglas sobre extremismo se marca automáticamente. En YouTube, en general, se eliminaron más de 20 millones de videos antes de recibir una sola vista en 2019. Y a medida que el coronavirus se extendió por todo el mundo a principios de 2020, Facebook, YouTube y Twitter Anunciado sus algoritmos asumirían una proporción aún mayor de moderación de contenido, y los moderadores humanos no podrían llevarse material sensible a casa.

Historias relacionadas

Pero los algoritmos son notoriamente peores que los humanos para comprender una cosa crucial: el contexto. Ahora, a medida que Facebook y YouTube han llegado a confiar en ellos cada vez más, incluso fotos y videos inocentes, especialmente de zonas de guerra, están siendo barridos y eliminados. Dicho contenido puede cumplir un propósito vital tanto para los civiles en el terreno, para quienes proporciona información vital en tiempo real, como para los monitores de derechos humanos que se encuentran lejos. En 2017, por primera vez, el La Corte Penal Internacional de los Países Bajos emitió una acusación de crímenes de guerra. basado en videos de Libia publicados en las redes sociales. Y a medida que se desarrollan los algoritmos de detección de violencia, los monitores de conflictos también notan un efecto secundario inesperado: estos algoritmos podrían eliminar la evidencia de crímenes de guerra de Internet antes de que alguien sepa que existe.

Los moderadores de contenido trabajan en una oficina de Facebook en Austin, Texas. Facebook dice que más del 98% del contenido eliminado por violar sus reglas sobre extremismo se marca automáticamente.

Los moderadores de contenido trabajan en una oficina de Facebook en Austin, Texas. Facebook dice que más del 98% del contenido eliminado por violar sus reglas sobre extremismo se marca automáticamente.

Ilana Panich-Linsman para The Washington Post a través de Getty Images

En un día lluvioso a principios de eneroChris Woods lidera el camino por la estrecha escalera de una casa al final de la terraza en el campus de la Universidad Goldsmiths en el sureste de Londres. Los dos pisos superiores aquí sirven como la base de Airwars, que Woods fundó en 2014 para responsabilizar a los militares de las víctimas civiles. De este cuartel general estrecho, él y su pequeño equipo han reunido evidencia de más de 52,000 muertes de civiles, la mayoría obtenidas de las redes sociales. Han obligado a la coalición liderada por Estados Unidos en Irak y Siria a compartir información mensual sobre civiles asesinados por daños colaterales, y vigilar también a los militares turcos y rusos. También se expandieron recientemente para cubrir Somalia y están trabajando en un archivo de Yemen. Todo esto está financiado con muy poco dinero. “Nuestro presupuesto para el próximo año es de alrededor de un tercio de un millón de libras [$430,000] por todo lo que hacemos “, dice Woods, en su oficina del ático. “Ese es aproximadamente el precio de una bomba guiada”.

La eliminación de Ojo en Alhasakah fue un duro golpe para esta apretada operación. La página fue una de las fuentes más completas de noticias sobre el norte y el este de Siria, dice Mohammed al Jumaily, un investigador de conflictos del grupo. “Su cierre significó que perdimos una fuente clave de informes locales, que ya es bastante escasa en esa región”.

Fue un ejemplo de cómo incluso un derribo erróneo puede dificultar el trabajo de los defensores de los derechos humanos. Sin embargo, esto está sucediendo en una escala más amplia: de los 1,7 millones de videos de YouTube conservados por Syrian Archive, una organización sin fines de lucro con sede en Berlín que descarga evidencia de violaciones de derechos humanos, el 16% ha sido eliminado. Una gran parte se eliminó en 2017, justo cuando YouTube comenzó a usar algoritmos para marcar contenido violento y extremista. Y el contenido útil todavía se está eliminando de forma regular. “Todavía estamos viendo que esto es un problema”, dice Jeff Deutsch, el investigador principal del Archivo Sirio. “No estamos diciendo que todo este contenido tenga que permanecer público para siempre. Pero es importante que este contenido esté archivado, de modo que sea accesible para investigadores, grupos de derechos humanos, académicos, abogados, para su uso en algún tipo de responsabilidad legal “. (YouTube dice que está trabajando con Syrian Archive para mejorar la forma en que identifican y conservan imágenes que podrían ser útiles para los grupos de derechos humanos).

Algoritmos tecnológicos para detener a ISIS están borrando evidencia de crímenes de guerra

Historia destacada

Héroes de las líneas del frente

Historias de los valientes trabajadores arriesgando sus propias vidas para salvar la nuestra.

La mayoría de las personas que trabajan en el monitoreo de conflictos entienden que las compañías de redes sociales están en una posición difícil. De vuelta en el ático en el sureste de Londres, Woods acepta que gran parte del contenido violento no tiene cabida en las redes sociales. Pero está frustrado con lo que él ve como tres años de inacción por parte de las redes sociales cuando se trata de evitar que se pierdan pruebas valiosas para siempre, lo que potencialmente reduce las posibilidades de que los violadores de derechos humanos sean condenados por sus crímenes. “Nuestra propia opinión es que si están decididos a eliminar videos, fotografías, publicaciones, etc., creemos que debe colocarse en un área acordonada que solo sea accesible para los investigadores con permisos”, dice Woods. “Básicamente en este momento, es todo o nada. Eliminarán un archivo completo y todo se perderá permanentemente, por lo que podemos ver “.

Sistemas de detección de Facebook y YouTube funcionan mediante el uso de una tecnología llamada aprendizaje automático, mediante la cual cantidades colosales de datos (en este caso, imágenes extremistas, videos y sus metadatos) se envían a un experto en inteligencia artificial para detectar patrones. Los primeros tipos de aprendizaje automático podrían ser entrenados para identificar imágenes que contengan una casa, un automóvil o un rostro humano. Pero desde 2017, Facebook y YouTube han estado alimentando el contenido de estos algoritmos que los moderadores han marcado como extremistas, capacitándolos para identificar automáticamente decapitaciones, videos de propaganda y otro contenido desagradable.

Tanto Facebook como YouTube son muy reservados sobre qué tipo de contenido están utilizando para entrenar a los algoritmos responsables de gran parte de esta eliminación. Eso significa que no hay forma de que los observadores externos sepan si el contenido inocente, como Ojo en Alhasakah‘S – ya se ha introducido como datos de entrenamiento, lo que comprometería la toma de decisiones del algoritmo. En el caso de Ojo en AlhasakahEl derribo “, dijo Facebook,” ¡Uy, cometimos un error “”, dice Dia Kayyali, el coordinador de tecnología y defensa de Witness, un grupo de derechos humanos enfocado en ayudar a las personas a registrar evidencia digital de abusos. “Pero, ¿y si hubieran usado la página como datos de entrenamiento? Luego, ese error se ha extendido exponencialmente en todo su sistema, porque va a entrenar más el algoritmo, y luego se eliminará más de ese contenido similar que se eliminó por error. Creo que eso es exactamente lo que está sucediendo ahora “. Sin embargo, Facebook y YouTube niegan que esto sea posible. Facebook dice que regularmente vuelve a entrenar sus algoritmos para evitar que esto suceda. En un comunicado, YouTube dijo: “las decisiones tomadas por los revisores humanos ayudan a mejorar la precisión de nuestros sistemas de señalización automatizados”.

Pero Kayyali dice que hay signos de que, especialmente para el contenido árabe, la forma en que funcionan estos algoritmos podría estar teniendo un efecto perjudicial. Actualmente, el contenido extremista islámico de Oriente Medio probablemente constituye la mayor parte de los conjuntos de datos de entrenamiento, dice Kayyali, aunque no hay forma de saberlo con certeza, porque las plataformas no comparten esa información. Significa que otro contenido árabe, como un video de las secuelas de un bombardeo, donde el usuario ha culpado a “ISIS” en el texto que lo acompaña, por ejemplo, también está en riesgo de ser eliminado. “Hemos visto constantemente que Facebook y YouTube eliminan la documentación de las protestas del mundo de habla árabe”, dice Kayyali.

A pesar de la costo humano de moderación de contenido, los monitores de conflictos dicen que una forma de asegurarse de que este contenido se mantenga en línea es que las redes sociales contraten más moderadores de contenido y se aseguren de que se les pague y se trate tan bien como a otro personal. Pero tanto Facebook como YouTube se están moviendo en la otra dirección, en parte por el reconocimiento de que la moderación de contenido puede ser un trabajo exigente y emocionalmente dañino, en parte porque las computadoras son más rápidas y en parte porque ejecutar un algoritmo es más barato que emplear humanos calificados. “Esta tecnología es muy prometedora, y en algunos casos ahora incluso podemos detectar y eliminar contenido dañino automáticamente, sin revisión humana”, dijo Erin Saltman, gerente de política antiterrorista de Facebook EMEA, en un comunicado a TIME . Ese es el caso, por ejemplo, con las recargas de contenido extremista conocido. Pero cuando los algoritmos marcan el contenido que nunca antes se había visto, Facebook y YouTube dicen que siempre se enruta a un moderador humano, que toma una decisión final sobre si debe eliminarse.

Esto se debe a que las políticas de Facebook permiten algunos tipos de violencia y extremismo, pero no otros, lo que significa que las decisiones sobre si eliminar el contenido a menudo se basan en el contexto cultural. ¿Ha sido compartido un video de una ejecución por sus perpetradores para difundir el miedo? ¿O por un periodista ciudadano para garantizar que el mundo en general vea una grave violación de los derechos humanos? La respuesta de un moderador a esas preguntas podría significar que de dos videos idénticos, uno permanece en línea y el otro se retira. “Esta tecnología aún no puede manejar efectivamente todo lo que está en contra de nuestras reglas”, dijo Saltman. “Muchas de las decisiones que tenemos que tomar son complejas e involucran decisiones sobre intenciones y matices culturales que aún requieren el ojo humano y el juicio”.

En este acto de equilibrio, es el ejército de moderadores humanos de Facebook, muchos de ellos contratistas externos, quienes llevan el poste. Y a veces, pierden el equilibrio. Después de varios de Ojo en Alhasakah las publicaciones fueron marcadas por algoritmos y humanos por igual, un moderador de Facebook decidió erróneamente que la página debería prohibirse por completo por compartir videos violentos para alabarlos, una violación de las reglas de Facebook sobre violencia y extremismo, que establecen que parte del contenido puede permanecer en línea si es de interés periodístico, pero no si fomenta la violencia o valoriza el terrorismo. El matiz, dijeron representantes de Facebook a TIME, es importante para equilibrar la libertad de expresión con un entorno seguro para sus usuarios, y para mantener a Facebook en el lado correcto de las regulaciones gubernamentales.

El conjunto de reglas de Facebook sobre el tema se lee como un libro de texto sangriento sobre ética: decapitaciones, cuerpos descompuestos, cortes de garganta y canibalismo se clasifican como demasiado gráficos y, por lo tanto, nunca se permiten; tampoco lo es el desmembramiento, a menos que se realice en un entorno médico; ni quemar a las personas, a menos que estén practicando la autoinmolación como un acto de discurso político, que está protegido. Sin embargo, los moderadores tienen discreción si el contenido violento se comparte claramente para difundir la conciencia de los abusos contra los derechos humanos. “En estos casos, dependiendo de qué tan gráfico sea el contenido, podemos permitirlo, pero colocamos una pantalla de advertencia frente al contenido y limitamos la visibilidad a las personas de 18 años o más”, dijo Saltman. “Sabemos que no todos estarán de acuerdo con estas políticas y respetamos eso”.

Pero los periodistas civiles que operan en el fragor de una guerra civil no siempre tienen tiempo para leer la letra pequeña. Y los monitores de conflictos dicen que no es suficiente que Facebook y YouTube tomen todas las decisiones por sí mismos. “Nos guste o no, la gente está utilizando estas plataformas de redes sociales como un lugar de registro permanente”, dice Woods. “Los sitios de redes sociales no pueden elegir lo que tiene valor e importancia”.

Escribir a Billy Perrigo en [email protected]

Related Stories

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí