Ejecutar Mistral en iPhone: Benchmarks de Ministral 3B

Ejecutar modelos de lenguaje avanzados directamente en el smartphone reconcilia la privacidad absoluta con una latencia interactiva inmediata, pero el hardware de consumo impone límites estrictos tanto en ancho de banda de memoria como en DRAM física. Con el lanzamiento de Ministral 3B y Ministral 8B, Mistral AI diseñó arquitecturas fundamentales optimizadas específicamente para entornos móviles y computación en el borde. Gracias a un mecanismo de atención intercalada por ventana deslizante y atención por grupos de consultas (GQA), Ministral 3B alcanza cotas de razonamiento que rivalizan con modelos de 7B de generaciones previas ocupando únicamente 1,93 GB en cuantización a 4 bits. Compilado con Apple MLX sobre procesadores Apple Silicon, Ministral 3B ofrece inteligencia local continua en dispositivos iPhone 15 Pro y iPhone 16 Pro sin comprometer la estabilidad frente a los límites de memoria de iOS ni sufrir estrangulamiento térmico.

Ministral 3B frente a 8B: Decisiones de Arquitectura para Apple Silicon Móvil

Desplegar modelos base en hardware periférico exige un equilibrio preciso entre densidad de parámetros y ancho de banda físico de la memoria en los SoC móviles. Ministral 3B y Ministral 8B responden a dos perfiles operativos muy distintos:

• Ministral 3B (El Punto Óptimo Móvil): Integra 26 capas transformer, una dimensión oculta (d_model) de 3.072 y una dimensión intermedia SwiGLU de 9.216. Aplica Grouped-Query Attention (GQA) con 32 cabezales de consulta y 8 cabezales Key-Value (relación 4:1) sobre un vocabulario ampliado de 131.072 tokens. Bajo cuantización afín a 4 bits, sus pesos ocupan 1,93 GB en DRAM, ajustándose con holgura al límite operativo de los iPhone de 8 GB.
• Ministral 8B (Gama Escritorio e iPad Pro): Diseñado con 36 capas transformer, una dimensión oculta de 4.096 y 32 cabezales de consulta con 8 cabezales KV. Incluso en 4 bits, sus pesos exigen 4,65 GB en DRAM. Sumado a las activaciones y el consumo del sistema, la huella total alcanza entre 5,1 GB y 5,5 GB, sobrepasando el techo de memoria en primer plano de los iPhone de 8 GB y provocando su cierre forzoso. Ministral 8B queda por tanto destinado a iPad Pro con chips M y ordenadores Mac con 16 GB o más de memoria unificada.

Dado que el iPhone 15 Pro (A17 Pro) y el iPhone 16 Pro (A18 Pro) disponen de 8 GB de memoria unificada LPDDR5/LPDDR5X con 34,6 GB/s de ancho de banda, Ministral 3B constituye la opción idónea: concentra la máxima capacidad de razonamiento por byte de memoria sin comprometer la estabilidad del sistema operativo.

Atención por Ventana Deslizante Intercalada: Mitigando el Peaje de la Caché KV

En transformers autorregresivos convencionales con atención completa, la memoria requerida por la caché Key-Value (KV) crece de forma estrictamente lineal en todas las capas con la longitud de la secuencia (S):

Memoria_KV = 2 * L * H_KV * D_head * S * P bytes

Para un modelo de 26 capas con 8 cabezales KV y dimensión por cabezal de 128 en semiprecisión de 16 bits (P = 2 bytes), cada token añade 106.496 bytes a la DRAM. Al alcanzar una secuencia de 8.192 tokens, la caché KV convencional absorbe entre 872 MB y 917 MB de RAM. En chats multiturno extensos o consultas documentales complejas, esta expansión agota con rapidez los márgenes de memoria del dispositivo móvil.

Ministral resuelve este estrangulamiento mediante Atención Intercalada por Ventana Deslizante (SWA). En lugar de aplicar una atención idéntica en toda la red, Ministral alterna la topología de sus capas:

• Capas de Atención Completa (Capas Impares): Conservan la autoatención global sobre la totalidad de la secuencia conversacional. Esto garantiza la recuperación de información distante y el razonamiento contextual profundo a lo largo de todo el documento.
• Capas de Ventana Deslizante (Capas Pares): Aplican una ventana deslizante estricta de W = 4.096 tokens. Las activaciones de atención anteriores a los últimos 4.096 tokens se desalojan en buffers circulares de Metal, acotando el uso de DRAM independientemente de la longitud total del historial.

Con un contexto de 8.192 tokens, esta arquitectura intercalada reduce el peso efectivo de la caché KV de 917 MB a 352 MB: una disminución del 61% en memoria dinámica. Combinado con una frecuencia base RoPE de 10.000.000, Ministral mantiene una resolución posicional precisa en ventanas de hasta 128k tokens sin derivas numéricas.

Para comparar la capacidad de razonamiento frente a la arquitectura de 3B de Meta, consulta el análisis de Llama 3.2 en iPhone y sus benchmarks.

Benchmarks Empíricos: Rendimiento de Ministral 3B en Apple Silicon

Para cuantificar el rendimiento real, evaluamos Ministral 3B frente a modelos móviles de referencia utilizando Apple MLX. Las pruebas se ejecutaron en un procesador A17 Pro (iPhone 15 Pro, 8 GB), un A18 Pro (iPhone 16 Pro, 8 GB) y un Apple M4 (iPad Pro, 16 GB). Todos los modelos operaron bajo cuantización afín a 4 bits con grupos de 64 tokens sobre una secuencia total de 8.192 tokens.

Las mediciones reflejan la principal fortaleza de Ministral 3B: su precisión en razonamiento. En MMLU, Ministral 3B alcanza un 68,8%, superando a Llama 3.2 3B por 5,4 puntos y a Gemma 2 2.6B por 12 puntos. En razonamiento matemático (GSM8K), logra un 64,2%, aventajando los 44,4% de Llama 3.2 3B por casi 20 puntos. Aunque la velocidad de generación en el A18 Pro (31,8 tok/s) es ligeramente inferior a Llama 3.2 3B (34,2 tok/s) debido a una capa intermedia FFN más ancha (9.216 frente a 8.192), la tasa triplica la velocidad media de lectura humana.

Para suprimir la latencia de prefill en prompts largos con ventana deslizante, consulta cómo opera el prompt caching en LLMs locales en Apple Silicon.

Huella de Memoria, Cuantización a 4 Bits y los Límites de Jetsam en iOS

Ejecutar transformers localmente en iOS requiere respetar con precisión las políticas del subsistema Jetsam en el kernel Darwin. A diferencia de macOS, que emplea swap dinámico sobre el disco NVMe para absorber picos de memoria, iOS desactiva la memoria virtual en disco para prevenir el desgaste prematuro del almacenamiento flash y asegurar la fluidez a 120 Hz de la interfaz ProMotion.

Jetsam fiscaliza la memoria sucia anónima (phys_footprint). Si una app en primer plano sobrepasa el límite asignado por el kernel, el proceso recibe de forma inmediata la señal EXC_RESOURCE (RESOURCE_TYPE_MEMORY) y un posterior SIGKILL (código 0x8badf00d):

• iPhones de 6 GB (iPhone 13, 14, 15 base): Imponen un límite en primer plano de entre 3,2 GB y 3,4 GB.
• iPhones de 8 GB (iPhone 15 Pro, gama iPhone 16): Autorizan un límite de entre 4,8 GB y 5,2 GB.

En semiprecisión FP16, los pesos de Ministral 3B demandan 6,2 GB, provocando el cierre inmediato de la app en un iPhone de 8 GB nada más inicializarse. Aplicando cuantización afín a 4 bits con tamaño de grupo 64 en Apple MLX, los pesos se reducen a 1,93 GB. El presupuesto en ejecución se desglosa así:

• Pesos Cuantizados: 1,93 GB en DRAM física.
• Entorno Metal y Shaders: ~120 MB de memoria sucia.
• Proceso Swift y Tokenizador: ~60 MB de memoria sucia.
• Caché KV (2.048 Tokens de Contexto): ~240 MB de memoria sucia.

Esto resulta en una huella pico de 2,35 GB, proporcionando un margen de seguridad de entre 2,45 GB y 2,85 GB antes de aproximarse al umbral crítico de Jetsam. Incluso expandiendo el contexto a 8.192 tokens (elevando la huella a 2,55 GB), Ministral 3B opera con total estabilidad, permitiendo reproducción de audio en segundo plano, recepción de notificaciones y animaciones de la interfaz sin advertencias de memoria.

Para conocer los presupuestos de DRAM y los límites del subsistema jetsam en terminales de 8 GB, revisa la guía sobre cuánta RAM necesita un LLM local.

Mejores Prácticas de Ingeniería para Implementar Mistral en iOS con MLX

Para integrar Ministral 3B en aplicaciones comerciales de iOS y iPadOS mediante Apple MLX garantizando máxima fluidez y estabilidad, aplica las siguientes pautas de ingeniería:

1. Asigna Buffers Compartidos en Metal (MTLResourceStorageModeShared): Gestiona los pesos y tensores de activación en memoria compartida unificada. Esto permite que el orquestador en Swift y los shaders de cómputo en Metal accedan a las mismas páginas físicas de DRAM sin copias intermedias ni sobrecargas IPC.
2. Implementa Buffers Circulares para las Capas SWA: Modela las capas de atención por ventana deslizante como buffers circulares en Metal. Al superar la posición de token 4.096, sobrescribe directamente las posiciones Key y Value caducadas en lugar de redimensionar memoria dinámicamente, evitando la fragmentación del heap.
3. Preasigna la Proyección Logit del Vocabulario de 131k Tokens: Ministral utiliza un vocabulario amplio de 131.072 tokens. Reserva el buffer de salida de la matriz lm_head una única vez durante el arranque. Reasignar tensores de logit en cada paso de decodificación degrada la tasa de emisión hasta un 15%.
4. Combina SWA con Prompt Caching de Prefijos: Precalcula los tensores Key-Value de las instrucciones estáticas del sistema. Omitir el cómputo GEMM en el prefill de los primeros 1.024 tokens reduce el tiempo hasta el primer token (TTFT) de 140 ms a menos de 12 ms en conversaciones multiturno.
5. Supervisa Continuamente el Margen de Memoria con las APIs de Darwin: Consulta os_proc_available_memory() antes de expandir el contexto más allá de 4.096 tokens. Si el margen del sistema desciende por debajo de 750 MB debido a procesos concurrentes, recorta la ventana de la caché KV para preservar un margen de seguridad predecible frente a Jetsam.

Para evaluar el compromiso entre perplejidad y ancho de banda en memoria, consulta la comparativa de cuantización a 4 y 8 bits en móvil.

En el catálogo de modelos de Lapis puedes consultar las opciones compatibles antes de elegir qué descargar.