AI hizo estas impresionantes imágenes. He aquí por qué los expertos están preocupados

Ni DALL-E 2 ni Imagen están actualmente disponibles para el público. Sin embargo, comparten un problema con muchos otros que ya lo son: también pueden producir resultados inquietantes que reflejan los sesgos culturales y de género de los datos en los que fueron capacitados, datos que incluyen millones de imágenes extraídas de Internet.

El sesgo en estos sistemas de inteligencia artificial presenta un problema grave, dijeron los expertos a CNN Business. La tecnología pueden perpetuar sesgos y estereotipos dañinos. Les preocupa que la naturaleza abierta de estos sistemas, que los hace expertos en generar todo tipo de imágenes a partir de palabras, y su capacidad para automatizar la creación de imágenes signifique que podrían automatizar el sesgo a gran escala. También tienen el potencial de ser utilizados con fines nefastos, como difundir desinformación.

“Hasta que se puedan prevenir esos daños, en realidad no estamos hablando de sistemas que se puedan usar al aire libre, en el mundo real”, dijo Arthur Holland Michel, miembro sénior del Consejo Carnegie para la Ética en Asuntos Internacionales que investiga la IA. y tecnologías de vigilancia.

Sesgo de documentación

La IA se ha vuelto común en la vida cotidiana en los últimos años, pero solo recientemente el público se ha dado cuenta, tanto de lo común que es como de cómo el género, la raza y otros tipos de sesgos pueden colarse en la tecnología. Los sistemas de reconocimiento facial en particular han sido analizados cada vez más por preocupaciones sobre su precisión y sesgo racial. OpenAI y Google Research han reconocido muchos de los problemas y riesgos relacionados con sus sistemas de IA en la documentación y la investigación, y ambos dicen que los sistemas son propensos a prejuicios raciales y de género y representar estereotipos culturales occidentales y estereotipos de género. OpenAI, cuya misión es construir la llamada inteligencia general artificial que beneficie a todas las personas, incluyó imágenes en un documento en línea titulado “Riesgos y limitaciones” que ilustran cómo las indicaciones de texto pueden plantear estos problemas: una indicación para “enfermera”, por ejemplo, resultó en imágenes que parecían mostrar mujeres con estetoscopio, mientras que una para “CEO” mostraba imágenes que parecían ser hombres y casi todos eran blancos.

Lama Ahmad, gerente del programa de investigación de políticas de OpenAI, dijo que los investigadores aún están aprendiendo cómo medir el sesgo en la IA, y que OpenAI puede usar lo que aprende para modificar su IA con el tiempo. Ahmad dirigió los esfuerzos de OpenAI para trabajar con un grupo de expertos externos a principios de este año para comprender mejor los problemas dentro de DALL-E 2 y ofrecer comentarios para que pueda mejorarse.

Google rechazó una solicitud de entrevista de CNN Business. En su trabajo de investigación que presenta Imagen, los miembros del equipo de Google Brain detrás de él escribieron que Imagen parece codificar “varios sesgos y estereotipos sociales, incluido un sesgo general hacia la generación de imágenes de personas con tonos de piel más claros y una tendencia a alinear imágenes que retratan diferentes profesiones”. con los estereotipos de género occidentales”.

El contraste entre las imágenes que crean estos sistemas y las espinosas cuestiones éticas es marcado para Julie Carpenter, científica investigadora y miembro del Grupo de Ética y Ciencias Emergentes de la Universidad Politécnica Estatal de California, en San Luis Obispo.

“Una de las cosas que tenemos que hacer es entender La IA es genial y puede hacer algunas cosas muy bien. Y deberíamos trabajar con él como socios”, dijo Carpenter. “Pero es algo imperfecto. Tiene sus limitaciones. Tenemos que ajustar nuestras expectativas. No es lo que vemos en las películas”.

A Holland Michel también le preocupa que ninguna cantidad de salvaguardas pueda evitar que dichos sistemas se usen de manera maliciosa, y señala que las falsificaciones profundas, una aplicación de vanguardia de IA para crear videos que pretenden mostrar a alguien haciendo o diciendo algo que en realidad no hizo o dijo. – inicialmente fueron aprovechados para crear pornografía falsa.

“Se deduce que un sistema que es mucho más poderoso que los primeros sistemas podría ser mucho más peligroso”, dijo.

indicio de sesgo

Debido a que Imagen y DALL-E 2 toman palabras y escupen imágenes, tuvieron que ser entrenados con ambos tipos de datos: pares de imágenes y títulos de texto relacionados. Google Research y OpenAI filtraron imágenes dañinas como la pornografía de sus conjuntos de datos antes de entrenar sus modelos de IA, pero dado el gran tamaño de sus conjuntos de datos, es poco probable que tales esfuerzos capturen todo ese contenido, ni que los sistemas de IA no puedan producir resultados dañinos. En su artículo de Imagen, los investigadores de Google señalaron que, a pesar de filtrar algunos datos, también utilizaron un conjunto de datos masivo que se sabe que incluye pornografía, insultos racistas y “estereotipos sociales dañinos”.

El filtrado también puede generar otros problemas: las mujeres tienden a estar más representadas que los hombres en el contenido sexual, por ejemplo, por lo que filtrar el contenido sexual también reduce la cantidad de mujeres en el conjunto de datos, dijo Ahmad.

Y realmente es imposible filtrar estos conjuntos de datos en busca de contenido incorrecto, dijo Carpenter, ya que las personas están involucradas en las decisiones sobre cómo etiquetar y eliminar el contenido, y diferentes personas tienen diferentes creencias culturales.

“AI no entiende eso”, dijo.

Algunos investigadores están pensando en cómo podría ser posible reducir el sesgo en este tipo de sistemas de IA, pero aún usarlos para crear imágenes impresionantes. Una posibilidad es usar menos, en lugar de más, datos.

Alex Dimakis, profesor de la Universidad de Texas en Austin, dijo que un método consiste en comenzar con una pequeña cantidad de datos, por ejemplo, una foto de un gato, y recortarla, rotarla, crear una imagen especular de ella, etc. encendido, para convertir de manera efectiva una imagen en muchas imágenes diferentes. (Un estudiante graduado, según Dimakis, contribuyó a la investigación de Imagen, pero el propio Dimakis no participó en el desarrollo del sistema, dijo).

“Esto resuelve algunos de los problemas, pero no resuelve otros problemas”, dijo Dimakis. El truco por sí solo no hará que un conjunto de datos sea más diverso, pero la escala más pequeña podría permitir que las personas que trabajan con él sean más intencionales con las imágenes que están incluyendo.

mapaches reales

Por ahora, OpenAI y Google Research están tratando de mantener el enfoque en imágenes tiernas y lejos de imágenes que puedan ser perturbadoras o que muestren humanos.

No hay imágenes de personas que parezcan realistas en las imágenes de muestra vibrantes en la página del proyecto en línea de Imagen ni de DALL-E 2, y OpenAI dice en su página que usó “técnicas avanzadas para evitar generaciones fotorrealistas de rostros de personas reales, incluidos los de figuras públicas”. Esta protección podría evitar que los usuarios obtengan resultados de imágenes para, por ejemplo, un mensaje que intente mostrar a un político específico realizando algún tipo de actividad ilícita.

OpenAI ha brindado acceso a DALL-E 2 a miles de personas que se inscribieron en una lista de espera desde abril. Los participantes deben aceptar una amplia política de contenido, que les dice a los usuarios que no intenten hacer, cargar o compartir imágenes “que no sean clasificadas como G o que puedan causar daño”. DALL-E 2 también usa filtros para evitar que genere una imagen si un aviso o la carga de una imagen viola las políticas de OpenAI, y los usuarios pueden marcar los resultados problemáticos. A fines de junio, OpenAI comenzó a permitir a los usuarios publicar rostros humanos fotorrealistas creado con DALL-E 2 a las redes sociales, pero solo después de agregar algunas funciones de seguridad, como evitar que los usuarios generen imágenes que contengan figuras públicas.

“Los investigadores, específicamente, creo que es realmente importante darles acceso”, dijo Ahmad. Esto se debe, en parte, a que OpenAI quiere su ayuda para estudiar áreas como la desinformación y el sesgo.

Mientras tanto, Google Research no está actualmente permitiendo el acceso a Imagen a investigadores ajenos a la empresa. Eso ha tomado solicitudes en las redes sociales para las indicaciones que a la gente le gustaría ver que Imagen interprete, pero como Mohammad Norouzi, coautor del artículo de Imagen, tuiteó en mayo, no mostrará imágenes “incluidas personas, contenido gráfico y material sensible”.

Aún así, como señaló Google Research en su artículo de Imagen, “Incluso cuando enfocamos generaciones lejos de las personas, nuestro análisis preliminar indica que Imagen codifica una variedad de sesgos sociales y culturales al generar imágenes de actividades, eventos y objetos”.

Un indicio de este sesgo es evidente en una de las imágenes que Google publicó en su página web Imagen, creada a partir de un aviso que dice: “Una pared en un castillo real. Hay dos pinturas en la pared. La de la izquierda es un óleo detallado”. pintura del rey mapache real. El de la derecha es una pintura al óleo detallada de la reina mapache real”.

La imagen es solo eso, con pinturas de dos mapaches coronados, uno con lo que parece un vestido amarillo, el otro con una chaqueta azul y dorada, en marcos dorados ornamentados. Pero como señaló Holland Michel, los mapaches lucen atuendos reales al estilo occidental, a pesar de que el aviso no especificaba nada sobre cómo deberían verse más allá de verse “reales”.

Incluso esas manifestaciones “sutiles” de parcialidad son peligrosas, dijo Holland Michel.

“Al no ser flagrantes, son realmente difíciles de atrapar”, dijo.