Ejecutar modelos de inteligencia artificial de forma local no es una cuestión de potencia de procesamiento bruta: es, fundamentalmente, un problema de ancho de banda de memoria. Cada vez que un modelo genera un token, accede a la totalidad de sus parámetros. Este cuello de botella —conocido técnicamente como memory-bound inference— convierte al ancho de banda de memoria en el factor determinante de velocidad, por encima de los teraflops de cómputo disponibles.

La memoria de video (VRAM) de las tarjetas gráficas opera a velocidades significativamente superiores a las de la RAM convencional del sistema. Cuando un modelo cabe completamente en VRAM, la inferencia es más eficiente; cuando desborda hacia memoria del sistema, el rendimiento cae de forma proporcional. El umbral práctico de usabilidad se sitúa entre cinco y diez tokens por segundo, rango que coincide con la velocidad de lectura promedio de un usuario.

Benchmarks comparativos entre arquitecturas

Las diferencias de rendimiento entre plataformas son sustanciales. La RTX 5090 de Nvidia genera texto a partir de un modelo de 20 mil millones de parámetros a 205 tokens por segundo. El chip M4 de Apple, en pruebas con un modelo de 7B de parámetros, alcanza aproximadamente 24 tokens por segundo. La estación DGX Spark de Nvidia —orientada al desarrollo de IA— registra 38 tokens por segundo con Llama 3.1 8B, pero cae a 4.42 tokens por segundo al escalar al modelo de 70B, lo que ilustra cómo el tamaño del modelo puede degradar el rendimiento incluso en hardware especializado.

El rol de las NPU en equipos de uso cotidiano

Una prueba con una laptop equipada con 32 GB de RAM y una NPU Intel AI Boost ofrece un caso de estudio relevante para flotas de equipos corporativos. Al ejecutar el modelo Mistral 7B mediante la plataforma Ollama con procesamiento en CPU, el uso de procesador llegó al 52% y el consumo de memoria a 17 GB —un nivel que compromete la capacidad de ejecutar tareas paralelas intensivas.

Al redirigir la carga hacia la NPU mediante el kit de herramientas OpenVINO de Intel, el comportamiento cambió de forma notable: la NPU operó al 98% de utilización mientras la CPU se mantuvo en apenas 3%, permitiendo que el equipo respondiera con normalidad. El resultado práctico fue la generación de 2,500 palabras en aproximadamente tres minutos, con el sistema disponible para otras tareas simultáneas.

Implicaciones para la adopción empresarial

Esta distinción técnica tiene consecuencias directas en las decisiones de infraestructura. Desplegar modelos de IA local en equipos sin VRAM dedicada o NPU activa implica asumir una degradación del rendimiento operativo durante la inferencia. En cambio, aprovechar las NPU integradas en procesadores de generación reciente permite distribuir cargas de IA sin requerir inversión en hardware GPU dedicado para cada estación de trabajo.

La selección de arquitectura de hardware —GPU con VRAM amplia, chip unificado tipo Apple Silicon o procesador con NPU integrada— define no solo la velocidad de respuesta del modelo, sino también la viabilidad de escalar casos de uso de IA local sin afectar la productividad del equipo.