La adopción de CUDA: de los primeros experimentos con GPU al avance de AlexNet

Los investigadores de IA empezaron a reconocer la enorme ventaja de rendimiento de CUDA para las redes neuronales entre 2006 y 2009, y el avance decisivo hacia el uso masivo llegó en 2012. Antes de este cambio, las redes neuronales se consideraban en general demasiado lentas y costosas en cómputo para ser prácticas.

Hitos clave en la adopción de CUDA

• 2006 (lanzamiento de CUDA): NVIDIA lanzó CUDA, que permitió a los investigadores programar las GPU con C/C++ estándar en lugar de complejos shaders gráficos (como OpenGL).

• 2007–2008 (primeros experimentos con redes neuronales): los primeros usuarios empezaron a portar algoritmos de redes neuronales a CUDA. En 2008, el investigador Rajat Raina y el equipo de Andrew Ng en Stanford demostraron que las GPU con CUDA podían entrenar redes de creencia profunda hasta 70 veces más rápido que las CPU multinúcleo.

• 2009–2010 (benchmarks récord): el laboratorio de Jürgen Schmidhuber (incluido Dan Cireșan) usó GPU aceleradas con CUDA para entrenar redes neuronales profundas que pulverizaron los récords de reconocimiento de escritura a mano (MNIST), demostrando que se podían entrenar redes más profundas sin superordenadores especializados.

• 2012 (el punto de inflexión de AlexNet): el momento decisivo ocurrió en el concurso ImageNet. Alex Krizhevsky, Ilya Sutskever y Geoffrey Hinton usaron kernels CUDA personalizados en dos GPU NVIDIA GTX 580 para entrenar AlexNet, reduciendo casi a la mitad las tasas de error en la clasificación de imágenes frente a los métodos tradicionales. Esta victoria desencadenó la revolución moderna del deep learning.

• 2014 (llega cuDNN): tras el auge de AlexNet, NVIDIA lanzó cuDNN (CUDA Deep Neural Network library), que dio a todos los investigadores de IA bloques de GPU optimizados y listos para usar en frameworks como Caffe, Theano, TensorFlow y PyTorch.

Por qué lo cambió todo

Antes de CUDA, entrenar una red neuronal de tamaño moderado en CPU llevaba semanas o meses, lo que hacía casi imposible la investigación por ensayo y error. CUDA redujo esos tiempos de entrenamiento a días u horas, lo que permitió a los investigadores ampliar los conjuntos de datos, apilar más capas e inventar arquitecturas modernas como los Transformers y los grandes modelos de lenguaje.