Noticias en español
El último
IA y tecnología

Cómo elegir estrategias de optimización de IA para tu hardware

Vista satelital ilustrativa del Cáucaso entre los mares Negro y Caspio; no es hardware de GPU.
Vista satelital ilustrativa del Cáucaso entre los mares Negro y Caspio; no es hardware de GPU.

Elegir la estrategia de optimización adecuada empieza por hacer coincidir la arquitectura de tu hardware con tu principal cuello de botella de rendimiento. Cada plataforma impone límites físicos estrictos al rendimiento de cómputo, al ancho de banda de memoria y a la capacidad.

1. Compromisos arquitectónicos del hardware objetivo

Las distintas plataformas de hardware resuelven el movimiento y la multiplicación de tensores de maneras fundamentalmente distintas.

Clase de hardwareArquitectura de memoriaMotores de cómputoEcosistema de software y kernelsPrincipales fortalezas y límites estrictos
GPU NVIDIA para centros de datos (H100, B200, R100)HBM3e / HBM4 discreta (80 GB–288 GB, 3,35–19,2 TB/s) + SRAM rápida en el chip.Tensor Cores (FP16, BF16, FP8, NVFP4) + unidades de copia asíncrona TMA.CUDA, cuDNN, Triton, TensorRT-LLM, vLLM, NCCL.Mayor FLOPS bruto y mejor escalado multi-GPU; caras y limitadas por las fronteras de PCIe/NVLink.
GPU NVIDIA de consumo (RTX 4090 / 5090)GDDR6X / GDDR7 discreta (24 GB–32 GB, ~1,0–1,8 TB/s).Tensor Cores (FP16, FP8, FP4) con menores capacidades de FP64/NVLink.CUDA, PyTorch, Triton, llama.cpp, ExLlamaV2.Relación precio-rendimiento local inigualable; muy limitadas por el techo de 24–32 GB de VRAM y la falta de NVLink.
Apple Silicon (M3/M4 Max y Ultra)Memoria unificada (LPDDR5) compartida entre CPU/GPU/NPU (hasta 192–512 GB, ~400–800 GB/s).Núcleos de GPU + unidades Simdgroup Matrix + Apple Neural Engine (ANE).Metal (MSL), MLX, PyTorch MPS, llama.cpp.Enorme capacidad de RAM para cargar modelos masivos en local; el ancho de banda de memoria moderado limita la velocidad de prefill del prompt.
SoC móviles (Snapdragon 8 Elite, Apple A18/A19)RAM compartida LPDDR5X de bajo consumo (8 GB–16 GB, ~50–85 GB/s).GPU móvil (Adreno/Apple) + NPU dedicada INT4/INT8 (Hexagon/ANE).Vulkan, Metal, ExecuTorch, LiteRT, MLC-LLM.Consumo ultrabajo (3–8 W); estrangulamiento térmico estricto y límites de memoria de aplicaciones de 3–6 GB impuestos por el sistema operativo.

2. Cómo resolver cuellos de botella y objetivos de ingeniería concretos

Una vez identificado el hardware objetivo, todo cuello de botella de rendimiento encaja en una de tres categorías de ingeniería, cada una con su propia guía técnica.

Objetivo A: maximizar la velocidad de entrenamiento (rendimiento y escalado)

El entrenamiento está dominado por el almacenamiento de activaciones y gradientes y por mantener alimentados los Tensor Cores a lo largo de varios pasos.

  • Eliminar la sobrecarga de Python y de memoria: activa torch.compile(mode="max-autotune") y la precisión mixta BF16/FP8 para que los Tensor Cores funcionen a plena velocidad y la memoria de activaciones se reduzca a la mitad.
  • Solapar comunicación y cómputo: con varias GPU, usa PyTorch FSDP2 o ZeRO-3 con acumulación de gradientes, para que las transferencias All-Gather y Reduce-Scatter ocurran de forma asíncrona detrás de las multiplicaciones de matrices.
  • Activation checkpointing: si los lotes grandes provocan errores de falta de memoria (OOM), descarta las activaciones intermedias de las capas durante el paso hacia delante y vuelve a calcularlas durante la retropropagación, a cambio de ~25 % de cómputo adicional y un gran margen en el tamaño de lote.

Objetivo B: minimizar la latencia de inferencia (TTFT y tokens/s)

La inferencia se divide en Prefill (ingesta del prompt, limitada por cómputo) y Decode (generación de tokens, limitada por ancho de banda de memoria).

  • Reducir el tiempo hasta el primer token (TTFT): usa FlashAttention-2/3 y Prefix Caching (reutilizar bloques de caché KV para prompts de sistema compartidos), de modo que los prompts largos saturen los Tensor Cores sin cálculos redundantes.
  • Acelerar la generación de tokens (TPOT): cuantiza los pesos a FP8 o INT4 (AWQ/Marlin) para reducir las lecturas de HBM entre 2× y 4×, activa CUDA Graphs para eliminar los huecos de lanzamiento de kernels desde la CPU y añade Speculative Decoding (EAGLE/Medusa) para verificar de 3 a 5 tokens por paso hacia delante.
  • Eliminar la interferencia entre lotes: en entornos de producción multiusuario, usa PagedAttention con batching continuo, o separa Prefill y Decode en grupos de GPU distintos, para que los prompts pesados nunca bloqueen los flujos de tokens activos.

Objetivo C: reducir la huella de memoria (ajustar modelos a dispositivos limitados)

Cuando un modelo supera la VRAM disponible o la RAM del móvil, la compresión agresiva y la ejecución sin copias pasan a ser obligatorias.

  • Compresión de pesos por debajo del byte: usa cuantización de 4 bits (Q4_K_M o AWQ) para reducir un modelo de 70B de 140 GB a ~40 GB, o un modelo de 8B de 16 GB a ~4,9 GB.
  • Comprimir la caché KV: las conversaciones largas suelen consumir más RAM que los propios pesos del modelo. Aplica cuantización de la caché KV a FP8/INT4, Sliding Window Attention o arquitecturas con Multi-Head Latent Attention (MLA) para reducir la memoria de contexto entre un 50 % y un 90 %.
  • Streaming sin copias (mmap): en portátiles y teléfonos con memoria unificada, mapea en memoria los archivos del modelo cuantizado directamente desde el almacenamiento NVMe/UFS, para que el sistema operativo cargue los pesos bajo demanda sin duplicar el uso de RAM durante el arranque.

Más noticias: IA y tecnología