LLM local en Mac Studio: M2 Ultra, 192 GB de RAM y benchmarks

Ejecutar modelos abiertos de frontera en local ha planteado tradicionalmente un dilema incómodo: invertir en servidores dedicados que consumen más de un kilovatio en la pared o conformarse con modelos de 8.000 millones de parámetros intensamente cuantizados en ordenadores portátiles. El Apple Mac Studio redefine este equilibrio gracias a la Arquitectura de Memoria Unificada (UMA) de Apple Silicon, combinando hasta 192 GB de memoria de alto ancho de banda con disipación acústica activa en un formato de sobremesa compacto.

El imperativo del ancho de banda: cómo UltraFusion alcanza 800 GB/s

Para evaluar la velocidad real de inferencia en local, resulta imprescindible comprender las restricciones físicas que rigen los modelos de lenguaje. La generación autorregresiva de tokens opera de forma estrictamente secuencial: para producir un único token, el procesador debe transferir todos los pesos del modelo desde la DRAM del sistema hasta los registros de cálculo, procesar la atención con el estado oculto actual y actualizar la caché de claves y valores (KV).

Bajo el modelo de rendimiento Roofline, la decodificación autorregresiva presenta una intensidad operativa inferior a 1,0 FLOP por cada byte transferido. Como consecuencia, la velocidad de generación está limitada directamente por el ancho de banda del bus de memoria y no por los teraflops teóricos de cálculo. El rendimiento se modela analíticamente mediante la ecuación:

Velocidad (tokens/s) ≈ (Ancho de banda efectivo en GB/s / Tamaño del modelo cuantizado en GB) × η

Donde η representa la eficiencia del controlador de memoria (habitualmente entre el 74 % y el 84 % en Apple Silicon bajo Metal Performance Shaders). En la arquitectura tradicional de PC, el ancho de banda elevado está confinado a la VRAM dedicada de la tarjeta gráfica (como los 24 GB GDDR6X de una RTX 4090 a 1.008 GB/s). Cuando un modelo excede esos 24 GB, debe dividirse entre varias ranuras PCIe, donde el bus PCIe 4.0 x16 ofrece solo 31,5 GB/s unidireccionales, convirtiéndose en un cuello de botella insalvable.

Según la documentación técnica de Apple para el Mac Studio, el equipo se ofrece en dos niveles de silicio:

• M2 Max (bus LPDDR5 de 512 bits): Proporciona 400 GB/s de ancho de banda de memoria unificada con hasta 96 GB de capacidad. Este bus genera unos 40 tokens/s en arquitecturas de 8B (Q8) y alrededor de 14 tokens/s en modelos densos de 70B (Q4).
• M2 Ultra (bus LPDDR5 de 1024 bits): Como detalla la presentación técnica del procesador M2 Ultra, Apple conecta dos matrices M2 Max mediante su tecnología propietaria de empaquetado UltraFusion. UltraFusion utiliza más de 10.000 señales para ofrecer 2,5 TB/s de ancho de banda bidireccional entre chips con latencia mínima. Esto permite que macOS gestione ambas matrices como un único SoC monolítico, duplicando los canales de DRAM para alcanzar 800 GB/s de ancho de banda de memoria unificada en capacidades de hasta 192 GB.

A 800 GB/s, un modelo de 70B cuantizado a 4 bits (~40 GB) se transfiere por los registros de GPU a velocidades sostenidas de entre 26 y 30 tokens por segundo, transformando el razonamiento de alta escala de un proceso lento por lotes en una interacción conversacional fluida.

Para comprender la formulación física del modelo Roofline y la saturación del bus de DRAM, consulta nuestro análisis sobre ancho de banda en Apple Silicon para LLMs.

Matriz de dimensionamiento de memoria unificada: de 32 GB a 192 GB

Dado que Apple Silicon comparte la DRAM entre CPU, GPU y Apple Neural Engine (ANE) mediante direccionamiento de copia cero, la capacidad instalada determina tanto el techo de parámetros del modelo como la ventana de contexto utilizable. Al planificar un Mac Studio para inferencia local, es necesario presupuestar el peso base del modelo, la caché dinámica de claves y valores (KV) y la reserva de memoria del sistema operativo.

La siguiente matriz resume las asignaciones prácticas, los márgenes seguros de memoria retenida y el rendimiento esperado en las configuraciones del Mac Studio:

La configuración de 192 GB del M2 Ultra destaca como la única estación de trabajo de sobremesa accesible que puede cargar modelos de 70B en coma flotante de 16 bits sin cuantizar (~144 GB) o mantener en memoria residente un conjunto coordinado de modelos especializados (un modelo general de 70B, un modelo de código de 32B y reconocimiento de voz) con cambio de contexto instantáneo sin coste de recarga.

Para calcular los requisitos exactos de memoria según la cuantización y la longitud de contexto, consulta nuestra guía de cuánta RAM necesita un LLM local.

Ajuste del kernel Darwin: techos de memoria cableada con sysctl

La ejecución de arquitecturas de gran escala en macOS requiere gestionar activamente la memoria virtual del sistema. A diferencia de iOS, donde el demonio jetsam finaliza inmediatamente procesos que exceden su límite de memoria anónima, macOS traslada páginas al almacenamiento SSD cuando la RAM física se agota. Sin embargo, cuando los tensores de un LLM caen en swap, la velocidad de generación se desploma a fracciones de token por segundo, introduciendo una latencia inasumible y un desgaste acelerado de la memoria flash.

Para garantizar una latencia determinista, entornos optimizados como Apple MLX asignan los búferes de pesos en memoria cableada (wired memory): páginas de RAM física bloqueadas por el kernel Darwin que nunca pueden paginarse en disco. Por defecto, macOS limita la memoria máxima que un proceso Metal puede fijar a aproximadamente el 75 % u 80 % del total físico mediante el parámetro iogpu.wired_limit_mb (también registrado en variantes del kernel como iogpu.wired_mem_limit).

En un nodo dedicado de inferencia, este límite por defecto puede provocar errores de falta de memoria en modelos muy grandes aunque todavía exista memoria física disponible. Es posible consultar el límite actual desde la terminal:

sysctl iogpu.wired_limit_mb

En un Mac Studio de 192 GB configurado para cálculo intensivo, asignar hasta 168 GB (172.032 MB) a tensores Metal deja más de 23 GB libres para el kernel de macOS, WindowServer y aplicaciones auxiliares, asegurando la máxima estabilidad del sistema sin paginación:

sudo sysctl iogpu.wired_limit_mb=172032

Ajustar este techo evita que el sistema operativo intente paginar tensores y asegura que los pesos permanezcan fijos en los canales LPDDR5.

Si buscas una opción de sobremesa más compacta y accesible para modelos de 8B a 14B, lee nuestro análisis de LLM local en Mac mini.

Térmicas y estabilidad acústica: disipación de cobre frente al ruido de torres PC

La generación continua de modelos de lenguaje impone una carga térmica muy diferente a tareas breves como la compilación o el renderizado puntual. Durante cadenas de razonamiento largas o el análisis de documentos extensos, las unidades de cómputo y los controladores de memoria trabajan al 100 % de su capacidad durante minutos u horas continuadas.

Mientras que equipos sin ventilador como el MacBook Air sufren caídas de frecuencia de GPU del 25 % al 35 % tras ocho o diez minutos de inferencia continuada, el Mac Studio incorpora un sistema térmico de alto rendimiento. El aire frío entra por la base perimetral, refrigera la fuente y la placa base, atraviesa dos turbinas centrífugas y se expulsa por la rejilla trasera.

En el modelo M2 Ultra, Apple utiliza un módulo térmico de cobre extruido de alta densidad, a diferencia del bloque de aluminio del M2 Max. Dado que el cobre ofrece casi el doble de conductividad térmica que el aluminio (398 W/m·K frente a 205 W/m·K), absorbe y disipa el calor de la matriz dual de 134.000 millones de transistores con gran rapidez. Bajo pruebas continuas de inferencia de 60 minutos:

• Temperatura del encapsulado: Se estabiliza entre 72 °C y 78 °C, muy por debajo del umbral de estrangulamiento térmico de Apple Silicon (100 °C).
• Emisiones acústicas: Las dos turbinas operan por debajo de 25 dBA a distancia normal de escritorio. Frente al zumbido de 52 a 58 dBA habitual en torres PC con refrigeración forzada, el Mac Studio resulta prácticamente inaudible en un entorno de trabajo silencioso.
• Consumo energético: A plena carga de decodificación, el M2 Max consume entre 65 W y 115 W, mientras que el M2 Ultra oscila entre 130 W y 180 W en la toma de corriente. En reposo, el consumo desciende a solo 10 W o 12 W.

Este comportamiento térmico y acústico permite ubicar el Mac Studio directamente sobre la mesa de trabajo como un nodo de inferencia permanente sin elevar la temperatura de la habitación ni generar fatiga acústica.

Para contrastar el rendimiento de una estación fija frente a la potencia de portátiles profesionales, lee nuestro análisis de LLM local en MacBook Pro.

Mac Studio frente a estaciones multi-GPU en PC: compromisos arquitectónicos

Quienes investigan hardware para IA local suelen comparar un Mac Studio de gama alta con una estación PC montada con varias tarjetas gráficas de consumo (como dos Nvidia RTX 4090). Tomar una decisión acertada exige analizar los compromisos arquitectónicos más allá de las cifras de teraflops brutos.

Las diferencias clave se articulan en tres aspectos fundamentales:

• Capacidad de VRAM frente a memoria contigua: Una RTX 4090 ofrece 24 GB de memoria GDDR6X. Para igualar los 192 GB de un M2 Ultra se necesitarían ocho tarjetas RTX 4090, una configuración inviable en placas base de consumo por falta de líneas PCIe y espacio físico. Las GPU para centros de datos como la Nvidia A100 (80 GB) o H100 tienen costes que superan ampliamente los 15.000 euros por unidad. El Mac Studio proporciona hasta 192 GB de memoria contigua direccionable por un único proceso por una fracción de ese coste.
• Cuellos de botella de interconexión: Al ejecutar un modelo de 70B distribuido entre dos tarjetas de 24 GB en un PC, el modelo debe particionarse mediante paralelismo tensorial o de tubería (pipeline). Las activaciones intermedias deben atravesar el bus PCIe de la placa base (31,5 GB/s en PCIe 4.0 x16). En el Mac Studio M2 Ultra, ambas matrices de silicio se comunican mediante el bus UltraFusion a 2.500 GB/s bidireccionales, eliminando ese obstáculo por completo.
• Rendimiento en modelos pequeños: En modelos de hasta 14B parámetros que caben íntegramente en los 24 GB de una GPU dedicada, una RTX 4090 alcanza velocidades superiores (entre 80 y 110 tokens/s frente a 40 o 45 tokens/s en M2 Max) gracias a sus frecuencias de reloj y sus canales GDDR6X. Sin embargo, en cuanto el flujo de trabajo requiere modelos densos de 70B, cuantizaciones superiores o contextos extensos de más de 32k tokens, la memoria monolítica del Mac Studio resulta insuperable en coste y sencillez operativa.

Para evaluar runtimes nativos en Swift frente a wrappers basados en Electron o demonios CLI, revisa nuestra guía sobre la mejor app de IA local para Mac.

Swift nativo y Apple MLX: máxima eficiencia en macOS

La potencia del hardware solo se traduce en rendimiento real si el software está diseñado para aprovechar la arquitectura del silicio. Muchas herramientas de escritorio encapsulan los modelos en entornos basados en Electron y entornos virtuales de Python, introduciendo consumos innecesarios de memoria (entre 800 MB y 1,5 GB de RAM en reposo), sobrecarga en la comunicación entre procesos (IPC) y pausas de recolección de basura.

Por el contrario, las implementaciones nativas en Swift apoyadas en Apple MLX utilizan mapeo directo de memoria (mmap) para enlazar los tensores cuantizados directamente en la memoria unificada. Los pesos se transfieren a búferes Metal de copia cero sin duplicación, logrando arranques inmediatos y despacho directo a los núcleos de GPU y al motor neuronal.

En Lapis para Mac, esta base en Swift nativo permite transformar el equipo en un centro de cálculo de IA completamente privado sin dependencias de servicios externos. Gracias a Lapis Link, el Mac Studio puede funcionar además como nodo permanente en la red local, permitiendo que un iPhone o un iPad deleguen consultas complejas de razonamiento a un modelo de 70B alojado en el Mac Studio con cifrado local de extremo a extremo y latencia predecible.

Si quieres trabajar con modelos que requieren más memoria, conoce Lapis para Mac y sus opciones de inferencia local.