LLM local en Mac mini: benchmarks, memoria RAM y servidor

El Mac mini se ha consolidado como la plataforma de hardware definitiva para la inteligencia artificial privada y local. Compacto, silencioso y con un consumo en reposo de entre 4 y 8 vatios, el ordenador de escritorio de Apple combina memoria unificada de gran ancho de banda con disipación activa para ofrecer un rendimiento de inferencia continuo que supera a tarjetas gráficas de PC limitadas por buses PCIe. Comprender cómo interactúan el ancho de banda de la memoria, los techos de asignación del kernel Darwin y la dinámica de la caché KV permite convertir este equipo en un servidor de IA privado ininterrumpido y eficiente.

La física de la inferencia de LLMs en la memoria unificada de Apple

Evaluar el hardware para modelos de lenguaje exige comprender un cambio esencial de arquitectura: la generación autorregresiva de texto está limitada por el ancho de banda de la memoria y no por la potencia de cálculo bruta. Mientras que el prellenado de un contexto extenso aprovecha los motores de cálculo matricial (FLOPS), la decodificación secuencial de tokens responde al modelo Roofline. En cada pasada hacia adelante, el procesador debe transferir la matriz completa de pesos del modelo activo desde la DRAM a la caché y a los registros aritméticos para generar un único token.

El límite teórico de velocidad de decodificación autorregresiva sigue una relación física directa:

Los ordenadores x86 convencionales se enfrentan a dificultades en este tipo de inferencia porque transferir pesos a través de un bus PCIe 4.0 x16 limita el rendimiento a unos 31,5 GB/s. Incluso cuando una tarjeta gráfica dedicada dispone de VRAM rápida, la capacidad en gamas de consumo rara vez supera los 16 GB o 24 GB sin costes prohibitivos. En cambio, la arquitectura de memoria unificada (UMA) de Apple Silicon ofrece un único espacio de memoria de alta velocidad al que acceden la CPU, la GPU y el Neural Engine simultáneamente, sin duplicación de datos ni cuellos de botella de serialización.

Para profundizar en la física de transferencia y el modelo Roofline, consulta el análisis de ancho de banda en Apple Silicon para LLMs.

Niveles de memoria unificada y el límite de memoria cableada en macOS

Elegir la configuración adecuada de Mac mini implica contrastar la capacidad física de DRAM con los subsistemas de gestión de memoria del kernel Darwin. macOS no permite asignar el 100 % de la memoria física a búferes Metal de GPU. Por defecto, el sistema impone un techo estricto de memoria cableada (wired memory) controlado por la variable iogpu.wired_mem_limit, que fija el límite en torno al 75 % de la memoria física.

Restando el consumo base del sistema operativo—donde WindowServer, los demonios de launchd, las cachés del sistema de archivos y las interfaces de red retienen entre 4,0 y 4,5 GB de RAM—, el presupuesto real de ejecución para cada versión se distribuye así:

• Mac mini base de 16 GB (~11,5 GB disponibles): La opción de mejor equilibrio coste-rendimiento para empezar. Ejecuta con holgura modelos de 3B en FP16 o modelos de 7B a 8B parámetros (como Llama 3.1 8B o Mistral 7B) cuantizados a 4 bits (Q4_K_M, con un peso de 4,62 GB), dejando margen suficiente para contextos moderados sin riesgo de saturación.
• Mac mini de 24 GB (~18,0 GB disponibles): Da acceso a modelos densos de 14B parámetros (como Qwen 2.5 14B Coder, que requiere 8,95 GB en Q4) con total estabilidad, permitiendo a los modelos de 8B expandir sus ventanas de contexto hasta 32.000 o 64.000 tokens sin comprimir la caché KV.
• Mac mini M4 Pro de 48 GB (~36,0 GB disponibles): El nivel profesional para cargas exigentes. Además de duplicar el ancho de banda hasta los 273 GB/s, 48 GB de memoria unificada permiten ejecutar modelos densos de 32B (Qwen 2.5 32B a 19,8 GB en Q4) o variantes de 70B en cuantizaciones bajas (como 3 bits o EXL2), ofreciendo capacidad de razonamiento de nivel servidor en un formato de escritorio.

Cargar un modelo que supere el límite de memoria cableada obliga al subsistema de memoria virtual de Darwin a paginar contra el almacenamiento SSD interno. Aunque las unidades flash de Apple son veloces, intercambiar pesos en mitad de la decodificación introduce pausas de entrada/salida severas, reduciendo la velocidad de más de 30 tokens por segundo a menos de 1,5 tokens por segundo e incrementando el desgaste del disco.

Para calcular con precisión el espacio ocupado por el sistema operativo y la memoria retenida, revisa cuánta RAM necesita un LLM local.

El multiplicador de memoria de la caché KV en contextos extensos

Un error habitual al dimensionar hardware para IA local es presupuestar memoria únicamente para el peso del modelo. Durante la inferencia, la caché de Claves y Valores (KV) almacena los estados de atención de todos los tokens precedentes en cada capa del transformador. A medida que las conversaciones se alargan o se procesan documentos técnicos completos, el consumo de la caché KV escala de forma estrictamente lineal.

El tamaño en memoria de una caché KV sin comprimir en FP16 se calcula mediante la fórmula:

$ ext{Memoria Caché KV} = 2 imes L imes H_{kv} imes D_h imes P imes S$

Donde $L$ representa el número de capas, $H_{kv}$ el número de cabezales de clave-valor, $D_h$ la dimensión por cabezal, $P$ la precisión en bytes (2 bytes para FP16) y $S$ la longitud total de la secuencia. Para un modelo como Llama 3.1 8B (32 capas, 8 cabezales KV con Grouped-Query Attention y dimensión 128):

• Con 4.096 tokens (4k): $2 imes 32 imes 8 imes 128 imes 2 imes 4.096 approx 536 ext{ MB}$.
• Con 16.384 tokens (16k): La caché KV asciende a $2,15 ext{ GB}$.
• Con 32.768 tokens (32k): La caché exige $4,29 ext{ GB}$ de memoria cableada residente.
• Con 131.072 tokens (128k): La memoria se dispara a $17,18 ext{ GB}$, superando por completo la RAM física total de un equipo de 16 GB.

Para operar de forma fiable en equipos de escritorio personales, los entornos modernos en Apple MLX emplean atención con grupos de consultas (GQA) y cuantización de caché KV. Reducir la caché a precisión de 8 o 4 bits disminuye su consumo a la mitad o a una cuarta parte con un impacto mínimo en la calidad, permitiendo analizar documentos extensos en modelos de entrada.

Para evitar que el contexto largo desborde la memoria unificada, examina las técnicas de cuantización de la caché KV en Apple Silicon.

Evaluación de rendimiento: chip M4 base frente a M4 Pro en Mac mini

Para obtener referencias verificables, evaluamos modelos fundacionales abiertos en las arquitecturas M4 y M4 Pro bajo condiciones homogéneas. Las mediciones registran el procesamiento del prompt (prefill) a 512 tokens y el rendimiento de decodificación autorregresiva a lo largo de 512 tokens generados bajo cuantización nativa a 4 bits por bloques en Apple MLX.

Los datos confirman la relevancia del ancho de banda: pasar del chip M4 base al M4 Pro multiplica por 2,2 la velocidad de generación con los mismos pesos 8B, lo que coincide con el incremento de 2,27 veces en el bus de memoria (de 120 GB/s a 273 GB/s). Para programación interactiva o redacción asistida, ritmos entre 30 y 70 tokens por segundo superan ampliamente la velocidad de lectura humana (entre 5 y 7 palabras por segundo), ofreciendo una respuesta fluida.

Para contrastar los frameworks nativos de inferencia en macOS, lee la comparativa de Apple MLX vs Core ML.

Perfil térmico: disipación activa en Mac mini frente a portátiles sin ventilador

El diseño del chasis determina la estabilidad del rendimiento en tareas continuadas. Aunque un MacBook Air sin ventilador cuenta con núcleos de procesamiento equivalentes, sesiones prolongadas de generación multiturno, indexación de documentos o bucles de agentes saturan su chasis de aluminio en 3 o 4 minutos. Al alcanzarse el límite térmico, el sistema reduce las frecuencias de CPU y GPU entre un 20 % y un 35 % para proteger los componentes internos.

El Mac mini elimina el estrangulamiento térmico gracias a su turbina centrífuga y a su bloque de aletas de cobre. Al aspirar aire fresco por la base perimetral y expulsar el calor por la zona trasera, el equipo mantiene las temperaturas del chip por debajo de 55 °C incluso al 100 % de carga gráfica durante tareas de razonamiento prolongadas.

Esta estabilidad hace que el Mac mini sea idóneo como nodo de inferencia en segundo plano: opera de manera continua sin degradación de velocidad, sin ruido perceptible y sin generar molestias acústicas en entornos de trabajo o domésticos.

Arquitectura de servidor headless: servicio en red local para iPhone e iPad

Aunque utilizar modelos locales directamente en el escritorio es muy productivo, una de las mayores ventajas del Mac mini es funcionar como un servidor privado y desatendido para dispositivos móviles complementarios. Teléfonos como el iPhone y tabletas como el iPad tienen baterías limitadas y restricciones estrictas del sistema operativo (Jetsam) que dificultan la ejecución de modelos grandes en segundo plano.

Los servidores locales tradicionales suelen requerir entornos complejos: configurar entornos virtuales de Python, mantener sesiones de terminal abiertas en segundo plano o desplegar contenedores Docker que consumen memoria adicional por la capa de virtualización. Si falla una dependencia o el proceso no arranca tras reiniciar, los clientes móviles pierden la conexión.

Las arquitecturas nativas de macOS superan esta fricción operativa. Al compilar directamente contra Metal Performance Shaders y gestionarse mediante los servicios de launchd del sistema, un Mac mini puede responder en la red local mediante descubrimiento Bonjour (mDNS). Los clientes móviles conectados a la misma red Wi-Fi delegan tareas pesadas de razonamiento, indexación de documentos y programación en el Mac de escritorio automáticamente, ahorrando batería en el iPhone y garantizando que las conversaciones permanezcan aisladas de servicios externos en la nube.

Si quieres trabajar con modelos que requieren más memoria, conoce Lapis para Mac y sus opciones de inferencia local.