Noticias en español
El último
IA y tecnología

PagedAttention, decodificación especulativa, MoE y Blackwell

Fibras ópticas iluminadas ilustrativas, no un sistema de GPU específico.
Fibras ópticas iluminadas ilustrativas, no un sistema de GPU específico.

El despliegue moderno de IA se apoya en motores de servicio con memoria virtualizada, enrutamiento disperso de expertos y precisión de hardware de menos de un byte para servir modelos masivos a alta velocidad y bajo costo. Estas tres tecnologías representan la vanguardia de la infraestructura de LLM en producción.

1. Optimizaciones de servicio de inferencia de LLM: PagedAttention y decodificación especulativa

Durante la generación de texto, un LLM almacena en caché los tensores Key (K) y Value (V) de cada token anterior en la VRAM para no tener que recomputarlos en cada paso. Gestionar esta caché KV y superar el cuello de botella secuencial de la generación token a token son los dos mayores desafíos del servicio de inferencia.

  • PagedAttention (vLLM): memoria virtual para la caché KV.
  • El problema de la fragmentación. Históricamente, los motores de inferencia preasignaban un bloque contiguo de VRAM para cada solicitud basándose en la longitud máxima posible de secuencia del modelo (p. ej., 32 768 tokens). Si un usuario solo generaba 200 tokens, más del 99 % de esa VRAM reservada quedaba vacía, desperdiciando entre el 60 % y el 80 % de la memoria de la GPU por fragmentación interna y externa.
  • Paginación al estilo de un SO. Inspirada en la memoria virtual de los sistemas operativos, PagedAttention divide la caché KV de cada secuencia en bloques pequeños de tamaño fijo (p. ej., 16 tokens por bloque) que pueden residir de forma no contigua en cualquier lugar de la VRAM física. Una ligera tabla de bloques mapea los bloques lógicos de tokens a direcciones físicas de memoria de la GPU sobre la marcha dentro del kernel de atención.
  • Compartición de memoria (copia en escritura). Como los bloques están desacoplados, múltiples solicitudes que comparten el mismo prompt del sistema o que generan completados paralelos (como la búsqueda por haces) apuntan exactamente a los mismos bloques físicos de KV en la VRAM, reduciendo drásticamente el uso de memoria y permitiendo tamaños de lote mucho mayores.
  • Decodificación especulativa: rompiendo el cuello de botella secuencial.
  • Por qué la generación autorregresiva es lenta. Generar 100 tokens requiere 100 pasadas hacia adelante secuenciales. Como cada pasada procesa solo un token nuevo, la GPU pasa la mayor parte del tiempo leyendo los pesos del modelo desde la VRAM mientras sus Tensor Cores permanecen casi inactivos.
  • Pipeline de borrador y verificación. La decodificación especulativa empareja el enorme modelo objetivo (p. ej., 70 000 millones de parámetros) con un modelo de borrador diminuto y ultrarrápido (p. ej., de 1 000 a 3 000 millones de parámetros, o cabezales de predicción ligeros como Medusa / EAGLE).
  • Verificación paralela. El diminuto modelo de borrador adivina rápidamente los siguientes K tokens (p. ej., 5 tokens) de forma secuencial. El enorme modelo objetivo procesa después los 5 tokens adivinados simultáneamente en una única pasada hacia adelante paralela, comprobando sus probabilidades. Como verificar 5 tokens en paralelo toma casi exactamente el mismo tiempo que generar 1 token, el sistema acepta todos los tokens coincidentes a la vez, ofreciendo una generación de 2× a 3× más rápida con una calidad de salida matemáticamente idéntica.

2. Mixture-of-Experts (MoE) y paralelismo de expertos

Los modelos densos activan el 100 % de sus parámetros para cada token, lo que hace que ejecutar modelos masivos sea prohibitivamente caro. Las arquitecturas Mixture-of-Experts (MoE) desacoplan el conocimiento total del modelo del costo de cómputo por token.

  • Cómo funcionan las capas MoE (Mixtral y DeepSeek).
  • En un bloque Transformer MoE, la única red feed-forward (FFN) densa se reemplaza por un grupo de FFN independientes más pequeñas llamadas expertos (p. ej., 8 expertos en Mixtral 8x7B, o 256 expertos de grano fino en DeepSeek-V3).
  • Un ligero enrutador aprendido (red de compuertas) inspecciona cada token entrante y lo dirige solo a los top-K expertos más relevantes (normalmente de 2 a 8 expertos). Un modelo puede tener más de 600 000 millones de parámetros totales en memoria y, sin embargo, activar solo 37 000 millones de parámetros por token, logrando una inteligencia de modelo masiva a una fracción del costo de cómputo.
  • Expertos compartidos y equilibrio sin pérdida auxiliar. Los diseños MoE modernos como DeepSeek dedican algunos expertos compartidos que procesan cada token para capturar conocimiento fundacional común, mientras que los expertos enrutados se especializan en dominios específicos. Los ajustes dinámicos de sesgo evitan el "colapso del enrutamiento" (cuando el enrutador sobrecarga unos pocos expertos populares e ignora al resto).
  • Paralelismo de expertos (EP) entre GPU.
  • Como un modelo MoE tiene cientos de expertos, no caben en una sola GPU. El paralelismo de expertos distribuye expertos diferentes entre GPU diferentes (p. ej., los expertos 1–4 en la GPU 0, los expertos 5–8 en la GPU 1).
  • Comunicación All-to-All. Cuando la GPU 0 procesa un lote de tokens, su enrutador puede asignar algunos tokens a expertos que residen en la GPU 3. Cada capa MoE ejecuta por tanto un envío All-to-All, mandando los estados ocultos de los tokens a través de interconexiones de alta velocidad NVLink/InfiniBand a la GPU que contiene el experto asignado, calculando la FFN del experto y realizando un segundo paso All-to-All de combinación para devolver los resultados.

3. NVIDIA Blackwell (B200) y Transformer Engine de segunda generación (FP4)

Introducida para escalar el razonamiento de billones de parámetros y los modelos MoE, la arquitectura NVIDIA Blackwell (B200) rediseñó tanto el empaquetado de múltiples dies como la precisión numérica de menos de un byte.

  • Arquitectura unificada de doble die.
  • Una sola GPU B200 empaqueta 208 000 millones de transistores en dos dies limitados por la retícula, fusionados por una NV-HBI (interfaz de alto ancho de banda) de 10 TB/s. Para los kernels CUDA y los frameworks de software, ambos dies funcionan como una única GPU unificada sin penalizaciones de coherencia de caché.
  • Ancho de banda de memoria HBM3e. Equipada con 192 GB de VRAM HBM3e que ofrece 8 TB/s de ancho de banda de memoria (más del doble de los 3,35 TB/s de la H100), Blackwell apunta directamente a los cuellos de botella de ancho de banda de memoria de las cachés KV y la carga de pesos MoE.
  • Transformer Engine de segunda generación y NVFP4.
  • Mientras que Hopper introdujo el punto flotante de 8 bits (FP8), el Transformer Engine de segunda generación de Blackwell lleva el cómputo de los Tensor Cores hasta el punto flotante de 4 bits (FP4), duplicando de nuevo el rendimiento de cómputo bruto (hasta 20 petaFLOPS de cómputo FP4 denso por GPU) y reduciendo a la mitad la huella de memoria en comparación con FP8.
  • Resolviendo el rango dinámico de FP4 con escalado de micro-tensores (NVFP4). Los números estándar de 4 bits solo tienen 16 valores posibles, lo que normalmente destruye la precisión cuando aparecen valores atípicos extremos en las activaciones neuronales. Blackwell resuelve esto en hardware usando micro-escalado de dos niveles: en lugar de aplicar un factor de escala a una matriz grande, Blackwell agrupa los pesos y las activaciones en pequeños bloques de 16 elementos, asignando a cada pequeño bloque su propio factor de escala FP8 de alta precisión junto con una escala global de tensor FP32.
  • Cuantización acelerada por hardware. El Transformer Engine inspecciona dinámicamente los rangos de los tensores capa por capa y convierte los valores entre FP16/BF16, FP8 y NVFP4 directamente dentro del pipeline de los Tensor Cores sin viajes de ida y vuelta adicionales a la memoria.

Más noticias: IA y tecnología