Los ingenieros de IA necesitan pensar más allá de la ingeniería

Resumen Ejecutivo

Es muy, muy fácil para un practicante de IA bien intencionado hacer daño inadvertidamente cuando se propone hacer el bien: la IA tiene el poder de amplificar los sesgos injustos, haciendo que los sesgos innatos sean exponencialmente más dañinos. Debido a que la IA a menudo interactúa con sistemas sociales complejos, donde la correlación y la causalidad pueden no ser claras de inmediato, o incluso fácilmente discernibles, los profesionales de la IA deben establecer asociaciones con miembros de la comunidad, partes interesadas y expertos para ayudarlos a comprender mejor el mundo con el que interactúan. y las implicaciones de cometer errores. La dinámica de sistemas basados ​​en la comunidad (CBSD) es un enfoque participativo prometedor para comprender los sistemas sociales complejos que hace precisamente eso.

Los ingenieros de IA necesitan pensar más allá de la ingeniería

Imágenes de MirageC / Getty

La inteligencia artificial (IA) se ha convertido en uno de los mayores impulsores del cambio tecnológico, impactando a las industrias y creando oportunidades completamente nuevas. Desde el punto de vista de la ingeniería, la IA es solo una forma más avanzada de ingeniería de datos. La mayoría de los buenos proyectos de IA funcionan más como camionetas fangosas que como autos de carrera impecables: son una tecnología de caballo de batalla que humildemente hace que una línea de producción sea un 5% más segura o que las recomendaciones de películas sean un poco más precisas. Sin embargo, más que muchas otras tecnologías, es muy, muy fácil para un practicante de IA bien intencionado hacer daño inadvertidamente cuando se propone hacer el bien. La IA tiene el poder de amplificar los sesgos injustos, haciendo que los sesgos innatos sean exponencialmente más dañinos.

Como profesionales de la IA de Google, entendemos que la forma en que se desarrolle y utilice la tecnología de IA tendrá un impacto significativo en la sociedad durante muchos años. Como tal, es fundamental formular las mejores prácticas. Esto comienza con el desarrollo responsable de la tecnología y la mitigación de cualquier posible sesgo injusto que pueda existir, los cuales requieren que los tecnólogos miren más de un paso adelante: no “¿Esta automatización de la entrega ahorrará un 15% en el costo de entrega?” pero “¿Cómo afectará este cambio a las ciudades donde operamos y a las personas, en particular a las poblaciones en riesgo, que viven allí?”

Esto debe hacerse a la antigua usanza: mediante científicos de datos humanos que comprendan el proceso que genera las variables que terminan en conjuntos de datos y modelos. Es más, esa comprensión solo se puede lograr en asociación con las personas representadas y afectadas por estas variables: miembros de la comunidad y partes interesadas, como expertos que comprenden los sistemas complejos con los que la IA finalmente interactuará.

Los supuestos causales erróneos pueden dar lugar a sesgos injustos.

¿Cómo implementamos realmente este objetivo de construir equidad en estas nuevas tecnologías, especialmente cuando a menudo funcionan de maneras inesperadas? Como primer paso, los informáticos deben esforzarse más por comprender los contextos en los que se están desarrollando y desplegando sus tecnologías.

A pesar de nuestros avances en la medición y detección de sesgos injustos, los errores de causalidad aún pueden generar resultados dañinos para las comunidades marginadas. ¿Qué es un error de causalidad? Tomemos, por ejemplo, la observación durante la Edad Media de que las personas enfermas atraían menos piojos, lo que llevó a suponer que los piojos eran buenos para usted. De hecho, a los piojos no les gusta vivir de personas con fiebre. Errores de causalidad como este, en los que se piensa erróneamente que una correlación indica una causa y efecto, pueden ser extremadamente dañinos en dominios de alto riesgo, como la atención médica y la justicia penal. Los desarrolladores de sistemas de inteligencia artificial, que generalmente no tienen experiencia en ciencias sociales, generalmente no comprenden los sistemas y estructuras sociales subyacentes que generan los problemas que sus sistemas deben resolver. Esta falta de comprensión puede llevar a diseños basados ​​en supuestos causales incorrectos y simplificados que excluyen factores sociales críticos y pueden conducir a resultados no deseados y dañinos.

Por ejemplo, los investigadores que descubierto que un algoritmo médico ampliamente utilizado en la atención médica de los EE. UU. tenía un sesgo racial contra los pacientes negros identificó que la causa principal fue la suposición causal errónea, hecha por los diseñadores del algoritmo, de que las personas con necesidades de salud más complejas habrán gastado más dinero en atención médica. Esta suposición ignora factores críticos, como la falta de confianza en el sistema de atención médica y la falta de acceso a una atención médica asequible, que tienden a disminuir el gasto en atención médica de los pacientes negros independientemente de la complejidad de sus necesidades de atención médica.

Los investigadores cometen este tipo de error de causalidad / correlación todo el tiempo. Pero las cosas son peores para una computadora de aprendizaje profundo, que busca miles de millones de posibles correlaciones para encontrar la forma más precisa de predecir datos y, por lo tanto, tiene miles de millones de oportunidades para cometer errores causales. Para complicar aún más el problema, es muy difícil, incluso con herramientas modernas, como Análisis bien proporcionado, para comprender por qué se cometió tal error: un científico de datos humanos sentado en un laboratorio con su supercomputadora nunca puede deducir de los datos en sí mismos cuáles pueden ser los errores de causalidad. Por eso, entre los científicos, nunca es aceptable afirmar que se ha encontrado una relación causal en la naturaleza simplemente mirando pasivamente los datos. Debe formular la hipótesis y luego realizar un experimento con el fin de desentrañar la causalidad.

Abordar estos errores causales requiere dar un paso atrás. Los informáticos deben hacer más para comprender y dar cuenta de los contextos sociales subyacentes en los que se desarrollan y se implementan estas tecnologías.

Aquí en Google, comenzamos a sentar las bases de cómo podría ser este enfoque. En un artículo reciente coescrito por DeepMind, Google AI y nuestro equipo de Confianza y seguridad, argumentamos que considerar estos contextos sociales requiere aceptar el hecho de que son sistemas dinámicos, complejos, no lineales y adaptativos gobernados por mecanismos de retroalimentación difíciles de ver. Todos participamos en estos sistemas, pero ninguna persona o algoritmo individual puede verlos en su totalidad o comprenderlos por completo. Entonces, para dar cuenta de estos inevitables puntos ciegos e innovar de manera responsable, los tecnólogos deben colaborar con las partes interesadas (representantes de la sociología, las ciencias del comportamiento y las humanidades, así como de comunidades vulnerables) para formar una hipótesis compartida de cómo funcionan. Este proceso debe ocurrir en las primeras etapas del desarrollo del producto, incluso antes de que comience el diseño del producto, y debe realizarse en total asociación con las comunidades más vulnerables al sesgo algorítmico.

Este enfoque participativo para comprender los sistemas sociales complejos, denominado dinámica de sistemas basados ​​en la comunidad (CBSD), requiere la construcción de nuevas redes para incorporar a estos interesados ​​al proceso. CBSD se basa en el pensamiento sistémico e incorpora rigurosos métodos cualitativos y cuantitativos para describir y comprender de manera colaborativa dominios de problemas complejos, y lo hemos identificado como una práctica prometedora en nuestra investigación. Desarrollar la capacidad de asociarse con las comunidades de manera justa y ética que brinde beneficios a todos los participantes debe ser una prioridad máxima. No será fácil. Pero los conocimientos sociales adquiridos a partir de una comprensión profunda de los problemas que más importan a los más vulnerables de la sociedad pueden conducir a innovaciones tecnológicas más seguras y beneficiosas para todos.

Cambiar de una mentalidad de “construir porque podemos” a “construir lo que deberíamos”.

Cuando las comunidades están subrepresentadas en el proceso de diseño de desarrollo de productos, están desatendidas por los productos resultantes. En este momento, estamos diseñando cómo será el futuro de la IA. ¿Será inclusivo y equitativo? ¿O reflejará los elementos más injustos e injustos de nuestra sociedad? La opción más justa no es una conclusión inevitable, tenemos que trabajar para lograrla. Nuestra visión de la tecnología es aquella en la que se tiene en cuenta una amplia gama de perspectivas, experiencias e inequidades estructurales. Trabajamos para buscar e incluir estas perspectivas en una variedad de formas, incluyendo procesos de diligencia en derechos humanos, sprints de investigación, aportaciones directas de comunidades y organizaciones vulnerables centradas en la inclusión, la diversidad y la equidad, como WiML (Mujeres en ML) y Latinx en IA; muchas de estas organizaciones también son cofundadas y codirigidas por investigadores de Google, como Negro en IA y Queer en IA.

Si nosotros, como campo, queremos que esta tecnología esté a la altura de nuestros ideales, entonces tenemos que cambiar la forma en que pensamos sobre lo que estamos construyendo, para cambiar nuestra forma de pensar de “construir porque podemos” a “construir lo que deberíamos . ” Esto significa fundamentalmente cambiar nuestro enfoque para comprender problemas profundos y trabajar para asociarnos éticamente y colaborar con las comunidades marginadas. Esto nos dará una visión más confiable tanto de los datos que alimentan nuestros algoritmos como de los problemas que buscamos resolver. Esta comprensión más profunda podría permitir a las organizaciones de todos los sectores desbloquear nuevas posibilidades de lo que tienen para ofrecer al mismo tiempo que son inclusivas, equitativas y socialmente beneficiosas.

Related Stories

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí