IA detecta videos falsos del presidente ucraniano Volodymyr Zelenskyy

Un detector de falsificación profunda diseñado para identificar expresiones faciales únicas y gestos con las manos podría detectar videos manipulados de líderes mundiales como Volodymyr Zelenskyy y Vladimir Putin

Tecnología


7 diciembre 2022

Agosto 2022 - Kyiv, Ucrania.  Ver el discurso en línea del presidente Volodymyr Zelenskiy en un smartphone sobre fondo de mesa de madera.  noticias de frente

Video en un teléfono inteligente de un discurso real del presidente ucraniano Volodymyr Zelenskyy

Kristina Kokhanova/Alamy

Un detector de falsificaciones profundas puede detectar videos falsos del presidente de Ucrania, Volodymyr Zelenskyy, con gran precisión mediante el análisis de una combinación de voces, expresiones faciales y movimientos de la parte superior del cuerpo. Este sistema de detección no solo podría proteger a Zelenskyy, que fue el objetivo de un intento de falsificación profunda durante los primeros meses de la invasión rusa de Ucrania, sino que también podría estar capacitado para señalar las falsificaciones profundas de otros líderes mundiales y magnates empresariales.

“No tenemos que distinguirte de mil millones de personas, solo tenemos que distinguirte de [the deepfake made by] cualquiera que esté tratando de imitarte”, dice hany farid en la Universidad de California, Berkeley.

Farid trabajó con Matyáš Boháček en el Gimnasio Johannes Kepler en la República Checa para desarrollar capacidades de detección de rostros, voces, gestos con las manos y movimientos de la parte superior del cuerpo. Su investigación se basa en trabajos anteriores en los que se entrenó un sistema de IA para detectar rostros falsos y movimientos de cabeza de líderes mundiales, como el expresidente Barack Obama.

Boháček y Farid entrenaron un modelo de computadora en más de 8 horas de video con Zelenskyy que se había publicado previamente.

El sistema de detección examina muchos clips de 10 segundos tomados de un solo video, analizando hasta 780 características de comportamiento. Si marca varios clips del mismo video como falsos, esa es la señal para que los analistas humanos observen más de cerca.

“Podemos decir, ‘Ah, lo que observamos es que con el presidente Zelenskyy, cuando levanta la mano izquierda, su ceja derecha se levanta, y no estamos viendo eso’”, dice Farid. “Siempre imaginamos que habrá humanos en el circuito, ya sean reporteros o analistas de la Agencia de Seguridad Nacional, que deben poder ver esto como, ‘¿Por qué cree que es falso?’”.

El análisis holístico de la cabeza y la parte superior del cuerpo del detector de deepfakes es especialmente adecuado para detectar videos manipulados y podría complementar los detectores de deepfakes disponibles comercialmente que se centran principalmente en detectar patrones menos intuitivos que involucran píxeles y otras características de la imagen, dice Siwei Lyu en la Universidad de Buffalo en Nueva York, que no participó en el estudio.

“Hasta este punto, no hemos visto un solo ejemplo de algoritmos de generación de deepfakes que puedan crear manos humanas realistas y demostrar la flexibilidad y los gestos de un ser humano real”, dice Lyu. Eso le da al detector más reciente una ventaja para detectar las falsificaciones profundas actuales que no logran captar de manera convincente las conexiones entre las expresiones faciales y otros movimientos corporales cuando una persona está hablando, y potencialmente mantenerse a la vanguardia del rápido ritmo de los avances en la tecnología de las falsificaciones profundas.

El detector de falsificaciones profundas logró una precisión del 100 % cuando se probó en tres videos falsos profundos de Zelenskyy que modificaban los movimientos de su boca y las palabras habladas, encargados a la empresa Colossyan, con sede en Delaware, que ofrece videos personalizados con actores de IA. De manera similar, el detector funcionó a la perfección contra el deepfake real que se lanzó en marzo de 2022.

Pero el lento proceso de capacitación que requiere horas de video para cada persona de interés es menos adecuado para identificar falsificaciones profundas que involucran a personas comunes. “El objetivo más futurista sería cómo hacer que estas tecnologías funcionen para personas menos expuestas que no tienen tantos datos de video”, dice Boháček.

Los investigadores ya han construido otro detector de deepfakes centrado en descubrir videos falsos del presidente estadounidense Joe Biden, y están considerando crear modelos similares para figuras públicas como Vladimir Putin de Rusia, Xi Jinping de China y el multimillonario Elon Musk. Planean poner el detector a disposición de ciertas organizaciones de noticias y gobiernos.

Referencia de la revista: PNAS, DOI: 10.1073/pnas.2216035119

Más sobre estos temas: