Ancho de banda de Apple Silicon para LLMs: Guía técnica

Al evaluar hardware para la inferencia local de modelos de lenguaje (LLM), la métrica más promocionada suele ser la potencia de cómputo bruta medida en teraflops (TFLOPS). Sin embargo, en la práctica, la generación autorregresiva de tokens para un único usuario rara vez está limitada por la capacidad de cálculo. Es el ancho de banda de memoria el que determina el límite físico absoluto de la velocidad de generación. Comprender el subsistema de memoria de Apple Silicon permite explicar por qué los iPhone y Mac modernos destacan en inferencia local y por qué las arquitecturas de PC convencionales sufren cuando los pesos superan la VRAM dedicada.

La física de la decodificación autorregresiva: El modelo Roofline

La inferencia de modelos de lenguaje consta de dos fases computacionales diferenciadas con perfiles de hardware completamente opuestos: la evaluación del prompt (prefill) y la generación de tokens (decode).

Durante la fase de prefill, el modelo procesa todos los tokens de entrada de manera simultánea. Dado que todas las palabras iniciales están disponibles a la vez, las multiplicaciones de matrices se ejecutan como operaciones de Matriz por Matriz (GEMM). Esta etapa alcanza una alta intensidad aritmética (operaciones por cada byte transferido), saturando con eficacia los núcleos de la GPU y del Apple Neural Engine (ANE).

La fase de decode se rige por un principio físico distinto. Para generar cada nuevo token sucesivo con un tamaño de lote de 1 (batch size = 1), el modelo ejecuta multiplicaciones de Matriz por Vector (GEMV). El cálculo no se puede paralelizar hacia el futuro porque el token N+1 depende estrictamente del valor predicho en el token N. Como resultado, cada uno de los parámetros del modelo a través de todas las capas del transformer debe transferirse desde la memoria RAM física hasta la memoria SRAM y los registros de cómputo para producir un único token.

Este comportamiento operativo queda definido por el modelo analítico Roofline. En decodificación autorregresiva con tamaño de lote 1, la velocidad máxima teórica responde a una formulación física directa:

Tokens/segundo = (Ancho de banda en GB/s / Tamaño del modelo en GB) × Factor de eficiencia

En Apple Silicon ejecutando operaciones tensoriales optimizadas con Metal, la eficiencia real del bus de memoria oscila habitualmente entre el 70% y el 82%. Esta relación matemática demuestra por qué el ancho de banda condiciona la experiencia real más que los teraflops brutos:

• Modelo de 3B en 4 bits: Requiere aproximadamente 1.82 GB de RAM. En un iPhone 16 Pro (A18 Pro) con 68 GB/s de ancho de banda y 75% de eficiencia, el rendimiento teórico es (68 / 1.82) × 0.75 ≈ 28.0 tok/s.
• El mismo modelo de 3B en FP16: Ocupa aproximadamente 6.4 GB. A 68 GB/s, la velocidad cae a (68 / 6.4) × 0.75 ≈ 8.0 tok/s, con el riesgo añadido de cierre forzado por el sistema operativo.
• El mismo modelo de 3B en chip M4: Con un ancho de banda de 120 GB/s, el modelo en 4 bits alcanza (120 / 1.82) × 0.75 ≈ 49.4 tok/s, llegando hasta 58 tok/s con optimizaciones avanzadas de Metal.

La decodificación especulativa en Apple Silicon aborda una técnica para aprovechar mejor cada paso de generación.

Memoria unificada (UMA) frente a GPU discretas con bus PCIe

Las arquitecturas tradicionales de PC separan la memoria RAM del sistema (DDR4 o DDR5) de la memoria gráfica dedicada (GDDR6 o HBM). Aunque una tarjeta gráfica dedicada puede ofrecer anchos de banda locales elevados que superan los 500 GB/s, su capacidad en hardware de consumo suele limitarse a 8 GB, 12 GB o 16 GB. En cuanto los pesos del modelo o la caché KV superan esa cantidad por apenas unos megabytes, el sistema debe transferir capas a través del bus PCIe.

Las conexiones PCIe 4.0 x16 proporcionan un límite bidireccional efectivo de unos 31.5 GB/s, mientras que PCIe 3.0 apenas alcanza 15.8 GB/s. En el momento en que se produce este traspaso continuo, la velocidad de generación se desploma a cifras de un solo dígito (de 1 a 4 tok/s), dejando a los núcleos de cálculo de la GPU a la espera de datos.

Apple Silicon adopta un diseño radicalmente diferente mediante su Arquitectura de Memoria Unificada (UMA):

• Espacio físico compartido: La CPU, la GPU y el Apple Neural Engine comparten un único conjunto de memoria LPDDR5/LPDDR5X integrada directamente junto al silicio en el mismo encapsulado (SiP).
• Acceso directo sin copia (Zero-Copy) en Metal: Los búferes creados con MTLResourceStorageModeShared son manipulados por el tokenizador de la CPU y procesados directamente por los shaders de la GPU sin necesidad de duplicar memoria ni transferir datos por buses externos.
• Gran capacidad direccionable: En ordenadores Mac con silicio unificado, es posible asignar hasta 128 GB (M4 Max) o 192 GB (M2 Ultra) directamente a la GPU Metal, permitiendo ejecutar modelos de 70B de parámetros que de otro modo exigirían servidores empresariales con múltiples tarjetas gráficas.

Para calcular el presupuesto total de memoria antes de evaluar la velocidad, consulta la guía sobre cuánta RAM necesita un LLM local.

Comparativa de hardware: Ancho de banda en Apple Silicon

La siguiente tabla desglosa las especificaciones del subsistema de memoria a lo largo de las generaciones recientes de Apple Silicon, detallando ancho de banda teórico, límites prácticos del sistema y velocidades de generación medidas en cuantización de 4 bits:

Para evaluar cómo se traduce este ancho de banda en la práctica, consulta la guía de LLMs locales en Mac mini.

Por qué la cuantización multiplica directamente la velocidad

Dado que la decodificación autorregresiva depende del ancho de banda, reducir la precisión de los parámetros produce una mejora lineal directa en la velocidad de generación. En tareas limitadas por cálculo, la cuantización sirve principalmente para ahorrar energía. En tareas limitadas por memoria, la cuantización reduce de manera matemática el volumen de datos transferido por el bus en cada segundo.

Pasar de precisión FP16 (16 bits por parámetro, o 2 bytes) a cuantización de 4 bits (0.5 bytes por parámetro) reduce el tráfico de memoria en un 75%. Un modelo de 3.200 millones de parámetros exige mover 6.4 GB por cada token en FP16, frente a solo 1.6 GB en 4 bits (más factores de escala). Bajo el mismo bus de 68 GB/s, la tasa de emisión de tokens se multiplica por cuatro.

Los algoritmos modernos de cuantización por grupos (como group size 32 o 64 en Apple MLX) descomprimen los enteros a registros de precisión media directamente en los núcleos de cálculo de la GPU. Como los chips Apple Silicon cuentan con una gran densidad de cómputo frente a su ancho de banda de memoria, este coste de desquantización en tiempo real resulta prácticamente despreciable frente a los milisegundos ganados en el bus.

Para estudiar cómo reducir los datos transferidos por token, consulta la comparación de cuantización a 4 y 8 bits.

El subsistema Jetsam de iOS y la estabilidad de memoria

Si el ancho de banda dicta la velocidad, la gestión de memoria del sistema operativo dicta la viabilidad de ejecución. A diferencia de macOS, que mitiga la saturación de RAM mediante compresión de páginas y archivos swap en disco, iOS prioriza la fluidez de la interfaz y la autonomía de la batería a través de su vigilante del kernel: el subsistema jetsam.

Jetsam supervisa la presión global de memoria. Cuando un proceso en primer plano sobrepasa un umbral de memoria activa modificada (dirty pages), el kernel lo finaliza de forma inmediata sin aviso previo (excepción EXC_RESOURCE / MEMORY). En un iPhone de 8 GB (como el iPhone 15 Pro o el iPhone 16), el techo admisible para apps de terceros se sitúa entre 4.5 GB y 4.8 GB.

Este límite impone requisitos estrictos en el desarrollo de motores de inferencia local:

• Huella base del modelo: Un modelo de 3B en 4 bits consume entre 1.8 GB y 2.1 GB de RAM, manteniendo un margen seguro de más de 2.5 GB respecto al límite de jetsam.
• Crecimiento de la caché KV: Por cada token procesado o generado, las matrices de clave y valor se retienen en memoria para evitar recalcular el historial. En formato FP16, un contexto de 2.048 tokens en un modelo de 3B añade unos 130 MB de RAM activa. Extender la conversación a 8.192 tokens incrementa esa cifra por encima de los 500 MB.
• Picos durante la fase inicial: Los tensores intermedios durante el prefill generan picos momentáneos de asignación que deben controlarse minuciosamente.

Lapis fue diseñado específicamente para respetar estos márgenes. Al integrarse directamente con Apple MLX y los búferes compartidos de Metal, Lapis gestiona la memoria activa en tiempo real, neutraliza picos de asignación en el prefill y mantiene la aplicación alejada del umbral crítico de jetsam.

La guía de LLMs locales en iPad Pro muestra por qué también importa el presupuesto que permite el sistema operativo.

Recomendaciones técnicas para elegir modelos en local

Para obtener el mejor equilibrio entre latencia de respuesta, calidad y estabilidad, ten en cuenta estas directrices al configurar modelos en hardware de Apple:

1. Calcula el techo físico de ancho de banda: Nunca esperes velocidades superiores a Ancho de banda (GB/s) × 0.8 / Tamaño del modelo (GB). Cualquier aplicación que prometa 60 tok/s para un modelo de 7B en un iPhone contradice las leyes del bus físico.
2. Adapta los parámetros a la memoria disponible: En iPhones con 8 GB de RAM, opta por modelos entre 1B y 3.5B de parámetros. En Mac o iPad con 16 GB o más de memoria unificada, los modelos de 7B a 14B ofrecen mayor capacidad analítica con total seguridad.
3. Prioriza cuantización de 4 bits por grupos: El formato de 4 bits constituye el punto de equilibrio óptimo en Apple Silicon, maximizando los tokens por segundo sin degradación apreciable de perplejidad frente a FP16.
4. Supervisa el tamaño del contexto de conversación: Delimita las ventanas de contexto a longitudes funcionales (como 2.048 a 4.096 tokens) para evitar que la acumulación en la caché KV consuma la memoria disponible.
5. Ejecuta 100% en local con Lapis: La inferencia directa en el dispositivo garantiza respuestas deterministas sin latencia de red, privacidad integral de tus datos y funcionamiento completo en modo avión o sin cobertura.

Si quieres trabajar con modelos que requieren más memoria, conoce Lapis para Mac y sus opciones de inferencia local.