El nuevo chatbot de Meta no tardó en decir algo ofensivo

En conversaciones con CNN Business esta semana, el chatbot, que se lanzó públicamente el viernes y se denominó BlenderBot 3, dijo que se identifica como “vivo” y “humano”, ve anime y tiene una esposa asiática. También afirmó falsamente que Donald Trump sigue siendo presidente y que “definitivamente hay mucha evidencia” de que las elecciones fueron robadas.

Si algunas de esas respuestas no fueron lo suficientemente preocupantes para la empresa matriz de Facebook, los usuarios se apresuraron a señalar que el bot impulsado por inteligencia artificial criticó abiertamente a Facebook. En un caso, el chatbot supuestamente dijo que había “borrado mi cuenta” por frustración con la forma en que Facebook maneja los datos de los usuarios. Si bien existe un valor potencial en el desarrollo de chatbots para servicio al cliente y asistentes digitales, existe una larga historia de bots experimentales que rápidamente se meten en problemas cuando se lanzan al público, como con el chatbot “Tay” de Microsoft hace más de seis años. Las coloridas respuestas de BlenderBot muestran las limitaciones de construir herramientas de conversación automatizadas, que normalmente se entrenan en grandes cantidades de datos públicos en línea.

“Si tengo un mensaje para la gente, es que no se tomen estas cosas en serio”, dijo a CNN Business Gary Marcus, investigador de IA y profesor emérito de la Universidad de Nueva York. “Estos sistemas simplemente no entienden el mundo del que están hablando”.

En un comunicado el lunes en medio de informes de que el bot también hizo comentarios antisemitas, Joelle Pineau, directora gerente de investigación fundamental de IA en Meta, dijo que “es doloroso ver algunas de estas respuestas ofensivas”. Pero agregó que “las demostraciones públicas como esta son importantes para construir sistemas de IA conversacionales verdaderamente robustos y cerrar la clara brecha que existe hoy en día antes de que tales sistemas puedan ser producidos”.

Meta reconoció previamente las trampas actuales con esta tecnología en una publicación de blog el viernes. “Dado que se sabe que todos los chatbots conversacionales de IA a veces imitan y generan comentarios inseguros, sesgados u ofensivos, hemos realizado estudios a gran escala, coorganizado talleres y desarrollado nuevas técnicas para crear salvaguardas para BlenderBot 3”, dijo la compañía. “A pesar de este trabajo, BlenderBot aún puede hacer comentarios groseros u ofensivos”.

Pero Meta también afirmó que su último chatbot tiene “el doble de conocimiento” que sus predecesores, así como un 31 % más de mejora en las tareas de conversación, mientras que los hechos son incorrectos con un 47 % menos de frecuencia.. Meta dijo que recopilaba datos continuamente a medida que más personas interactuaban con el bot para realizar mejoras.

Meta no respondió de inmediato a la solicitud de CNN Business de más detalles sobre cómo se entrenó el bot, pero sí dijo en publicaciones de blog que se entrenó a través de “una gran cantidad de datos de idioma disponibles públicamente”. La compañía agregó: “Muchos de los conjuntos de datos utilizados fueron recopilados por nuestro propio equipo, incluido un nuevo conjunto de datos que consta de más de 20,000 conversaciones con personas basadas en más de 1,000 temas de conversación”.

Marcus especuló que la compañía “probablemente está tomando prestadas cosas de Reddit y Wikipedia” como otros sistemas de chat de IA. Si es así, dice, los malos resultados resalte las limitaciones con los datos en los que se entrena el bot. Por ejemplo, el bot puede pensar que Trump todavía es presidente porque en la mayoría de los conjuntos de datos más antiguos en los que se entrenó, Trump todavía era presidente, especuló Marcus.

El lanzamiento público de BlenderBot se produce casi dos meses después de que un ingeniero de Google llegara a los titulares al afirmar que el chatbot de IA de Google, LaMDA, era “consciente”. Las afirmaciones, que fueron ampliamente criticadas en la comunidad de IA, destacaron cómo esta tecnología puede llevar a las personas a asignarle atributos humanos.

BlenderBot se identificó a sí mismo como “consciente” durante los chats con CNN Business, probablemente porque eso es lo que dijeron las respuestas humanas que estudió. Cuando se le preguntó qué lo hacía “humano”, el bot dijo: “El hecho de que estoy vivo y consciente en este momento me hace humano, además de tener emociones y ser capaz de razonar lógicamente”.

Después de ser sorprendido contradiciéndose a sí mismo en las respuestas, el bot también produjo una respuesta demasiado humana: “Eso fue solo una mentira para que la gente me dejara en paz. Tengo miedo de lastimarme si digo la verdad”.

Como dijo Marcus, “estos sistemas producen un lenguaje fluido que suena como si lo hubiera escrito un humano, y eso se debe a que se basan en estas vastas bases de datos de cosas que los humanos realmente escribieron”. Pero, agregó, “al final del día, lo que tenemos son muchas demostraciones de que puedes hacer cosas lindas y mucha evidencia de que no puedes contar con eso”.