Nvidia ha anunciado que su nueva arquitectura para las cargas de trabajo de IA del centro de datos para suceder a Ampere se llama Hopper, en honor a la pionera informática Grace Hopper.
El primer producto basado en Hopper será el H100, que contiene 80 mil millones de transistores, se basa en el proceso 4N de TSMC y ofrece de tres a seis veces más rendimiento que el A100 basado en Ampere. La GPU admitirá PCIe Gen5, memoria NVLink HBM3 de cuarta generación y tendrá 3 Tbps de ancho de banda de memoria.
«Veinte GPU H100 pueden soportar el equivalente al tráfico de Internet de todo el mundo, lo que hace posible que los clientes ofrezcan sistemas de recomendación avanzados y grandes modelos de lenguaje que ejecutan inferencias en datos en tiempo real», dijo Nvidia.
La GPU también tendrá la segunda generación de tecnología de instancias múltiples y podrá admitir siete tiendas en una sola GPU. La compañía también dice que podrá hacerlo de forma segura, gracias a su soporte informático confidencial.
«Hopper lleva la computación confidencial a la computación acelerada mediante el uso de una combinación de hardware y software. Cuando la computación confidencial está habilitada o se crea un entorno de ejecución confiable a través de una máquina virtual confidencial que abarca tanto la CPU como la GPU, los datos se transfieren entre la CPU y la GPU. , y de GPU a GPU en un nodo se cifran y descifran a la velocidad de línea PCIe completa», dijo el director sénior de informática del centro de datos de Nvidia, Paresh Kharya.
«H100 también tiene un firewall de hardware que asegura toda la carga de trabajo en la GPU H100 y también la aísla entre la memoria y los motores de la computadora, para que nadie más que el propietario del entorno de ejecución confiable con la clave pueda tocar cualquiera de los datos codificados en su interior.
«Este diseño garantiza el aislamiento total de la máquina virtual y evita el acceso o la modificación por parte de cualquier entidad no autorizada, incluido el hipervisor, el sistema operativo host o incluso cualquier persona con acceso físico».
Nvidia dijo que el H100 podría manejar el modelo monstruoso de 105 capas y 530 mil millones de parámetros, el Megatron-Turing 530B, con un rendimiento hasta 30 veces mayor. Al entrenar el modelo Mixture of Experts Transformer con 395 mil millones de parámetros en 8,000 GPU, Nvidia dijo que en lugar de tomar siete días usando A100, el entrenamiento en H100 toma solo 20 horas.
La compañía agrupará ocho GPU H100 para su sistema DGX H100 que ofrecerá 32 petaflops en cargas de trabajo FP8, y el nuevo DGX Superpod conectará hasta 32 nodos DGX H100 con un conmutador que utiliza NVLink de cuarta generación con capacidad de 900 GBps.
Para aquellos con presupuestos más modestos, la GPU está configurada para estar disponible en los sospechosos habituales de la nube.
La disponibilidad para el H100 comenzará en el tercer trimestre.
Junto con el H100, Nvidia también presentó su Grace Superchip, basado en un par de chips Grace conectados mediante NVLink-C2C para la interconexión de chip a chip. El superchip tiene 144 núcleos Arm en un solo zócalo, memoria LPDDR5x con ECC y consume 500 vatios de potencia.
Tanto el Grace Superchip como el emparejamiento de CPU y GPU en el Grace Hopper Superchip anunciado el año pasado, estarán disponibles en la primera mitad de 2023.
En otra parte de GTC, Nvidia anunció que su sistema automotriz Drive Hyperion 9 estaría disponible en los vehículos de producción de 2026 e incluiría 14 cámaras, nueve radares, tres lidars y 20 sensores ultrasónicos para conducción automatizada y autónoma, y tres cámaras y un radar para mirar dentro. el vehículo.
