Los chips de memoria que computan acelerarán la IA

Los chips de memoria que computan acelerarán la IA

John von Neumann La arquitectura original de la computadora, donde la lógica y la memoria son dominios separados, ha tenido un buen desempeño. Pero algunas empresas apuestan a que es hora de un cambio.

En los últimos años, el cambio hacia un procesamiento más paralelo y un aumento masivo en el tamaño de las redes neuronales significa que los procesadores necesitan acceder a más datos de la memoria más rápidamente. Y, sin embargo, «la brecha de rendimiento entre DRAM y procesador es más amplia que nunca», dice Jongho Kim, experto en chips de memoria 3D en el Instituto Avanzado de Ciencia y Tecnología de Corea, en Daejeon, y miembro del IEEE. La arquitectura de von Neumann se ha convertido en el cuello de botella de von Neumann.

¿Qué pasa si, en cambio, al menos parte del procesamiento ocurre en la memoria? Tendrían que moverse menos datos entre chips, y también ahorraría energía. No es una idea nueva. Pero puede que finalmente haya llegado su momento. El año pasado, Samsung, el mayor fabricante mundial de memoria dinámica de acceso aleatorio (DRAM), comenzó a implementar tecnología de procesamiento en memoria (PIM). Su primera oferta de PIM, presentada en febrero de 2021, integraba núcleos informáticos centrados en IA dentro de su
Memoria Aquabolt-XL de gran ancho de banda. HBM es el tipo de DRAM especializada que rodea a algunos de los mejores chips aceleradores de IA. La nueva memoria está diseñada para actuar como un «reemplazo directo» para los chips HBM ordinarios, dijo Nam Sung Kim, miembro del IEEE, que entonces era vicepresidente senior de la unidad de negocios de memoria de Samsung.

En agosto pasado, Samsung reveló los resultados de las pruebas en el sistema de un socio. Cuando se usa con el
Acelerador de IA Xilinx Virtex Ultrascale + (Alveo), la tecnología PIM entregó una ganancia de rendimiento de casi 2,5 veces y una reducción del 62 por ciento en el consumo de energía para una red neuronal de reconocimiento de voz. Samsung ha estado proporcionando muestras de la tecnología integrada en la generación actual de DRAM de alto ancho de banda, HBM2. También está desarrollando PIM para la próxima generación, HBM3, y para la DRAM de bajo consumo utilizada en dispositivos móviles. Espera completar el estándar para este último con JEDEC en el primer semestre de 2022.

Hay bastantes de formas de agregar inteligencia computacional a los chips de memoria. Samsung eligió un diseño que es rápido y simple. HBM consiste en una pila de chips DRAM enlazados verticalmente por interconexiones llamadas vías de silicio pasante (TSV). La pila de chips de memoria se encuentra encima de un chip lógico que actúa como interfaz con el procesador.

El ancho de banda de datos más alto en la pila se encuentra dentro de cada chip, seguido de los TSV y, finalmente, las conexiones al procesador. Así que Samsung eligió poner el procesamiento en los chips DRAM para aprovechar el alto ancho de banda allí. Las unidades de cálculo están diseñadas para realizar el cálculo de redes neuronales más común, llamado multiplicar y acumular, y poco más.
Otros diseños han puesto la lógica de IA en el chip de interfaz o han utilizado núcleos de procesamiento más complejos.

Los dos mayores competidores de Samsung,
SK hynix y Tecnología Micron, no están preparados para dar el paso en PIM para HBM, aunque cada uno de ellos ha avanzado hacia otros tipos de procesamiento en memoria.

SK hynix, con sede en Icheon, Corea del Sur, el segundo proveedor de DRAM, está explorando PIM desde varios ángulos, dice
El parque, vicepresidente y jefe de desarrollo de productos de soluciones de memoria. Por ahora, está buscando PIM en chips DRAM estándar en lugar de HBM, que podría ser más simple de adoptar para los clientes, dice Park.

HBM PIM es más una posibilidad a medio y largo plazo para SK hynix. Por el momento, los clientes ya están lidiando con suficientes problemas a medida que intentan acercar físicamente HBM DRAM a los procesadores. “Muchos expertos en este campo no quieren agregar más, y bastante significativa, complejidad a la ya ajetreada situación que involucra a HBM”, dice Park.

Dicho esto, los investigadores de SK hynix trabajaron con científicos informáticos de la Universidad de Purdue en un diseño integral de un
Producto HBM-PIM llamado Newton en 2019. Al igual que el Aquabolt-XL de Samsung, coloca unidades de multiplicación y acumulación en los bancos de memoria para aprovechar el alto ancho de banda dentro de los propios troqueles.

«Samsung ha apostado por el suelo», dijo Bob O’Donnell, analista jefe de
Investigación de Technalysis

Mientras tanto, Rambus, con sede en San José, California, estaba motivado para explorar PIM debido a problemas de consumo de energía, dice el investigador distinguido y miembro de Rambus.
Steven Woo. La empresa diseña las interfaces entre los procesadores y la memoria, y dos tercios de la energía consumida por el sistema en chip y su memoria HBM se destinan al transporte de datos horizontalmente entre los dos chips. El transporte de datos verticalmente dentro de HBM consume mucha menos energía porque las distancias son mucho más cortas. “Puede que tenga que desplazarse de 10 a 15 milímetros horizontalmente para devolver los datos a un SoC”, dice Woo. «Pero verticalmente estás hablando del orden de un par de cientos de micrones».

El diseño experimental de PIM de Rambus agrega una capa adicional de silicio en la parte superior de la pila de HBM para realizar cálculos de IA. Para evitar el posible cuello de botella del ancho de banda de las vías centrales de silicio de HBM, el diseño agrega TSV para conectar los bancos de memoria con la capa de IA. Tener una capa de inteligencia artificial dedicada en cada chip de memoria podría permitir a los fabricantes de memorias personalizar las memorias para diferentes aplicaciones, argumenta Woo.

La rapidez con que se adopte PIM dependerá de cuán desesperados estén los fabricantes de aceleradores de IA por el alivio del ancho de banda de memoria que proporciona. «Samsung ha apostado por el suelo», dice Bob O’Donnell, analista jefe de
Investigación de Technalysis. “Queda por ver si [PIM] se convierte en un éxito comercial.

Este artículo aparece en la edición impresa de enero de 2022 como «La informática de inteligencia artificial llega a chips de memoria».