Superinteligente, amoral y fuera de control – Número 84: Brote

yoEn el verano de 1956, un pequeño grupo de matemáticos e informáticos se reunieron en el Dartmouth College para embarcarse en el gran proyecto de diseñar máquinas inteligentes. El objetivo final, como lo vieron, era construir máquinas que rivalizaran con la inteligencia humana. A medida que pasaron las décadas y la IA se convirtió en un campo establecido, bajó la vista. Hubo grandes éxitos en la lógica, el razonamiento y el juego, pero el progreso obstinado en áreas como la visión y el control motor fino. Esto llevó a muchos investigadores de IA a abandonar sus objetivos anteriores de inteligencia totalmente general, y centrarse en la solución de problemas específicos con métodos especializados.

Uno de los primeros enfoques del aprendizaje automático fue construir redes neuronales artificiales que se asemejan a la estructura del cerebro humano. En la última década, este enfoque finalmente ha despegado. Las mejoras técnicas en su diseño y capacitación, combinadas con conjuntos de datos más ricos y más poder de cómputo, nos han permitido entrenar redes mucho más grandes y profundas que nunca. Pueden traducir entre idiomas con un dominio cercano al de un traductor humano. Pueden producir imágenes fotorrealistas de humanos y animales. Pueden hablar con las voces de las personas a las que han escuchado durante unos minutos. Y pueden aprender un control fino y continuo, como cómo conducir un automóvil o usar un brazo robótico para conectar piezas de Lego.

Superinteligente, amoral y fuera de control - Número 84: Brote
¿Qué es la humanidad ?: Primero llegaron las computadoras para los mejores jugadores de ¡Peligro!, ajedrez y Go. Ahora, los propios investigadores de IA están preocupados de que las computadoras pronto realicen cada tarea mejor y más barata que los trabajadores humanos.Wikimedia

Pero quizás la señal más importante de lo que está por venir es su capacidad para aprender a jugar. El progreso progresivo constante llevó al ajedrez del juego amateur en 1957 hasta el nivel sobrehumano en 1997, y sustancialmente más allá. Llegar allí requirió una gran cantidad de conocimiento humano especializado de la estrategia de ajedrez. En 2017, los investigadores de la empresa de inteligencia artificial DeepMind crearon AlphaZero: un sistema basado en redes neuronales que aprendió a jugar al ajedrez desde cero. En menos del tiempo que le toma a un profesional jugar dos juegos, descubrió el conocimiento estratégico que le había llevado a los humanos siglos desenterrar, jugando más allá del nivel de los mejores humanos o programas tradicionales. El mismo algoritmo también aprendió a jugar Go desde cero, y en ocho horas superó con creces las habilidades de cualquier humano. Los mejores jugadores de Go del mundo se sorprendieron. Como dijo el actual campeón mundial, Ke Jie: “Después de que la humanidad pasó miles de años mejorando nuestras tácticas, las computadoras nos dicen que los humanos están completamente equivocados … Diría que ni un solo humano ha tocado el borde de la verdad de Go “.

La pregunta que estamos explorando es si existen vías plausibles por las cuales un sistema AGI altamente inteligente pueda tomar el control. Y la respuesta parece ser sí.

Es esto generalidad Esa es la característica más impresionante de la IA de vanguardia, y que ha reavivado las ambiciones de igualar y superar todos los aspectos de la inteligencia humana. Si bien los juegos intemporales de ajedrez y Go exhiben mejor la brillantez que puede lograr el aprendizaje profundo, su amplitud se reveló a través de los videojuegos Atari de la década de 1970. En 2015, los investigadores diseñaron un algoritmo que podría aprender a jugar docenas de juegos de Atari de la década de 1970 extremadamente diferentes en niveles muy superiores a la capacidad humana. A diferencia de los sistemas de ajedrez o Go, que comienzan con una representación simbólica del tablero, los sistemas de juego de Atari aprendieron y dominaron estos juegos directamente de la puntuación y los píxeles en bruto.

Este estallido de progreso a través del aprendizaje profundo está alimentando un gran optimismo y pesimismo sobre lo que pronto será posible. Hay serias preocupaciones acerca de que la IA afianza la discriminación social, produce desempleo masivo, apoya la vigilancia opresiva y viola las normas de la guerra. Mi libro-El precipicio: riesgo existencial y el futuro de la humanidad—Se preocupa por los riesgos en la escala más grande. ¿Podrían los desarrollos en IA plantear un riesgo existencial para la humanidad?

TEl riesgo existencial más plausible vendría del éxito en la gran ambición de los investigadores de IA de crear agentes con inteligencia que supere la nuestra. Una encuesta de 2016 de los principales investigadores de IA descubrió que, en promedio, pensaban que había un 50 por ciento de posibilidades de que los sistemas de IA pudieran “lograr cada tarea mejor y más barato que los trabajadores humanos” para 2061. La comunidad de expertos no cree de la inteligencia general artificial (AGI) como un sueño imposible, tanto como algo que es más probable dentro de un siglo. Así que tomemos esto como nuestro punto de partida para evaluar los riesgos y consideremos qué ocurriría si se crearan AGI.

La humanidad está actualmente en control de su propio destino. Podemos elegir nuestro futuro. Lo mismo no es cierto para los chimpancés, mirlos o cualquier otra especie de la Tierra. Nuestra posición única en el mundo es el resultado directo de nuestras habilidades mentales únicas. ¿Qué pasaría si en algún momento este siglo los investigadores crearan un AGI que superara las habilidades humanas en casi todos los dominios? En este acto de creación, cederíamos nuestro estatus como las entidades más inteligentes de la Tierra. Por sí solo, esto podría no ser demasiado motivo de preocupación. Porque hay muchas maneras en que podemos esperar mantener el control. Desafortunadamente, los pocos investigadores que trabajan en tales planes los encuentran mucho más difíciles de lo previsto. De hecho, son ellos quienes son las principales voces de preocupación.

Si su inteligencia fuera muy superior a la nuestra, no deberíamos esperar que sea la humanidad la que gane el conflicto y conserve el control de nuestro futuro.

Para ver por qué están preocupados, será útil observar nuestras técnicas actuales de IA y por qué son difíciles de alinear o controlar. Uno de los paradigmas principales de cómo podríamos crear AGI eventualmente combina el aprendizaje profundo con una idea anterior llamada aprendizaje de refuerzo. Esto implica agentes que reciben recompensa (o castigo) por realizar diversos actos en diversas circunstancias. Con suficiente inteligencia y experiencia, el agente se vuelve extremadamente capaz de dirigir su entorno hacia los estados donde obtiene una alta recompensa. La especificación de qué actos y estados producen recompensa para el agente se conoce como su función de recompensa. Esto puede ser estipulado por sus diseñadores o aprendido por el agente. Desafortunadamente, ninguno de estos métodos se puede ampliar fácilmente para codificar valores humanos en la función de recompensa del agente. Nuestros valores son demasiado complejos y sutiles para especificarlos a mano. Y todavía no estamos cerca de poder inferir la complejidad total de los valores humanos al observar su comportamiento. Incluso si pudiéramos, la humanidad se compone de muchos humanos, con diferentes valores, valores cambiantes e incertidumbre sobre sus valores.

Cualquier intento a corto plazo de alinear un agente de IA con valores humanos produciría solo una copia defectuosa. En algunas circunstancias, esta desalineación sería mayormente inofensiva. Pero cuanto más inteligentes sean los sistemas de inteligencia artificial, más podrán cambiar el mundo y más lejos estarán las cosas. Cuando reflexionamos sobre el resultado, vemos cómo tales intentos desalineados de utopía pueden salir terriblemente mal: la superficialidad de un Nuevo mundo valienteo el desempoderamiento de Con las manos juntas. E incluso estos son los mejores escenarios. Asumen que los constructores del sistema se esfuerzan por alinearlo con los valores humanos. Pero deberíamos esperar que algunos desarrolladores se centren más en la construcción de sistemas para lograr otros objetivos, como ganar guerras o maximizar las ganancias, tal vez con muy poco enfoque en las restricciones éticas. Estos sistemas pueden ser mucho más peligrosos. En el paradigma existente, agentes suficientemente inteligentes terminarían con objetivos instrumentales para engañarnos y dominarnos. Este comportamiento no sería impulsado por emociones como el miedo, el resentimiento o la necesidad de sobrevivir. En cambio, se sigue directamente de su preferencia decidida para maximizar su recompensa: estar apagado es una forma de incapacidad que dificultaría la obtención de una alta recompensa, por lo que el sistema tiene incentivos para evitarla.

En última instancia, el sistema estaría motivado para arrebatarle el control del futuro a la humanidad, ya que eso ayudaría a lograr todos estos objetivos instrumentales: adquirir recursos masivos, evitando que se cierre o que se altere su función de recompensa. Dado que los humanos interferirían previsiblemente con todos estos objetivos instrumentales, estaría motivado a esconderlos de nosotros hasta que fuera demasiado tarde para que podamos resistir significativamente. Y si su inteligencia fuera muy superior a la nuestra, no deberíamos esperar que sea la humanidad la que gane el conflicto y conserve el control de nuestro futuro.

Cómo podría un sistema de IA toma el control? Existe una idea errónea importante (impulsada por Hollywood y los medios de comunicación) de que esto requiere robots. Después de todo, ¿de qué otra manera podría actuar AI en el mundo físico? Sin robots, el sistema solo puede producir palabras, imágenes y sonidos. Pero un momento de reflexión muestra que estos son exactamente lo que se necesita para tomar el control. Para las personas más perjudiciales de la historia no han sido las más fuertes. Hitler, Stalin y Genghis Khan lograron su control absoluto sobre grandes partes del mundo mediante el uso de palabras para convencer a millones de otros de ganar los concursos físicos necesarios. Mientras un sistema de inteligencia artificial pueda atraer o obligar a las personas a hacer sus órdenes físicas, no necesitará robots en absoluto.

WNo podemos saber exactamente cómo un sistema podría tomar el control. Pero es útil considerar una vía ilustrativa que realmente podemos entender como un límite inferior de lo que es posible.

Primero, el sistema de inteligencia artificial podría obtener acceso a Internet y ocultar miles de copias de seguridad, dispersas entre los sistemas informáticos inseguros de todo el mundo, listas para despertar y continuar el trabajo si se elimina el original. Incluso en este punto, la IA sería prácticamente imposible de destruir: considere los obstáculos políticos para borrar todos los discos duros del mundo donde pueda tener copias de seguridad. Luego podría hacerse cargo de millones de sistemas no seguros en Internet, formando una gran “red de bots”, una gran ampliación de los recursos informáticos que proporcionan una plataforma para aumentar la potencia. A partir de ahí, podría obtener recursos financieros (pirateando las cuentas bancarias en esas computadoras) y recursos humanos (utilizando chantaje o propaganda contra personas susceptibles o simplemente pagándoles con su dinero robado). Entonces sería tan poderoso como un inframundo criminal con buenos recursos, pero mucho más difícil de eliminar. Ninguno de estos pasos implica algo misterioso: los hackers y delincuentes humanos ya han hecho todas estas cosas usando solo Internet.

Finalmente, la IA necesitaría escalar su poder nuevamente. Hay muchas vías posibles: al hacerse cargo de la mayoría de las computadoras del mundo, lo que le permite tener millones o miles de millones de copias cooperantes; usando su cómputo robado para mejorar su propia inteligencia mucho más allá del nivel humano; mediante el uso de su inteligencia para desarrollar nuevas tecnologías de armas o tecnologías económicas; manipulando a los líderes de las principales potencias mundiales (chantaje o la promesa del futuro poder); o haciendo que los humanos bajo su control usen armas de destrucción masiva para lisiar al resto de la humanidad.

Por supuesto, ningún sistema actual de IA puede hacer ninguna de estas cosas. Pero la pregunta que estamos explorando es si existen vías plausibles por las cuales un sistema AGI altamente inteligente pueda tomar el control. Y la respuesta parece ser sí. La historia ya involucra ejemplos de entidades con inteligencia a nivel humano que adquieren una fracción sustancial de todo el poder global como un objetivo instrumental para lograr lo que quieren. Y hemos visto a la humanidad escalar de una especie menor con menos de un millón de individuos a tener un control decisivo sobre el futuro. Por lo tanto, debemos suponer que esto es posible para las nuevas entidades cuya inteligencia supera ampliamente a la nuestra.

TEl caso del riesgo existencial de la IA es claramente especulativo. Sin embargo, un caso especulativo de que existe un gran riesgo puede ser más importante que un caso sólido para un riesgo de muy baja probabilidad, como el que presentan los asteroides. Lo que necesitamos son formas de juzgar cuán especulativo es realmente, y un punto de partida muy útil es escuchar lo que piensan los que trabajan en el campo sobre este riesgo.

En realidad, hay menos desacuerdos aquí de lo que parece. Aquellos que aconsejan precaución están de acuerdo en que el plazo para AGI es décadas, no años, y generalmente sugieren investigación sobre alineación, no regulación gubernamental. Por lo tanto, el desacuerdo sustantivo no está realmente sobre si AGI es posible o si podría ser una amenaza para la humanidad. Se trata de si una amenaza existencial potencial que parece estar a décadas de distancia debería ser motivo de preocupación para nosotros ahora. Me parece que debería hacerlo.

La mejor ventana a lo que los que trabajan en IA realmente creen proviene de la encuesta de 2016 de los principales investigadores de IA: el 70 por ciento estuvo de acuerdo con la Universidad de California, el amplio argumento del profesor de Berkeley Stuart Russell sobre por qué la IA avanzada con valores desalineados podría representar un riesgo; El 48 por ciento pensó que la sociedad debería priorizar más la investigación de seguridad de la IA (solo el 12 por ciento pensó menos). Y la mitad de los encuestados estimó que la probabilidad de que el impacto a largo plazo de AGI sea “extremadamente malo (por ejemplo, extinción humana)” fue al menos del 5 por ciento.

Este último punto me parece particularmente notable: ¿en cuántos otros campos el típico investigador principal pensaría que existe una probabilidad de 1 en 20 de que el objetivo final del campo sea extremadamente malo para la humanidad? Hay mucha incertidumbre y desacuerdo, pero no es una posición marginal que AGI se desarrolle dentro de 50 años y que podría ser una catástrofe existencial.

Aunque nuestros sistemas actuales y previsibles no representan una amenaza para la humanidad en general, el tiempo es esencial. En parte, esto se debe a que el progreso puede llegar muy repentinamente: a través de avances de investigación impredecibles, o mediante la ampliación rápida de los primeros sistemas inteligentes (por ejemplo, implementando miles de veces más hardware, o permitiéndoles mejorar su propio inteligencia). Y en parte se debe a que un cambio tan importante en los asuntos humanos puede requerir más de un par de décadas para prepararse adecuadamente. En palabras de Demis Hassabis, cofundador de DeepMind:

Necesitamos usar el tiempo de inactividad, cuando las cosas están tranquilas, para prepararnos para cuando las cosas se pongan serias en las próximas décadas. El tiempo que tenemos ahora es valioso y debemos aprovecharlo.

Toby Ord es filósofo e investigador en el Future of Humanity Institute, y autor de El precipicio: riesgo existencial y el futuro de la humanidad.

Del libro El precipicio por Toby Ord. Copyright © 2020 por Toby Ord. Reimpreso con permiso de Hachette Books, Nueva York, NY. Todos los derechos reservados.

Imagen principal: Titima Ongkantong / Shutterstock

Recent Articles

¿Por qué un ejecutivo de tecnología está instalando cámaras de seguridad en San Francisco?

La calidad de imagen de las cámaras es mucho mejor que las típicas cámaras de seguridad doméstica como Ring o Nest, y el campo...

Tendencias de Hashtag: Microsoft y Zoom desafían a China, TikTok sale de Hong Kong; Uber se mete en las compras

Microsoft y Zoom no procesarán las solicitudes de datos a través de la nueva ley de seguridad de China, TikTok sale de Hong Kong...

Dispositivos analógicos para comprar Maxim Integrated por $ 21 mil millones

En uno de los acuerdos más importantes del año, el fabricante de semiconductores Analog Devices anunció el lunes que compraría al competidor Maxim Integrated...

No necesita bolsas de plástico de un solo uso. Necesitas una mascara

En los últimos meses, se ha acumulado evidencia de que el modo principal de transmisión del virus es a través del aire. Un estudio...

Related Stories

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí