Los mejores modelos open source para iPhone: Guía local

Ejecutar modelos de lenguaje de código abierto directamente en el iPhone ha dejado de ser un experimento técnico para convertirse en una herramienta productiva para el día a día. Gracias a arquitecturas compactas como Llama 3.2, Qwen 2.5 y SmolLM2, es posible disponer de inteligencia artificial privada y veloz en la memoria unificada de Apple Silicon sin depender de servidores externos.

Los Límites del Silicio: Ancho de Banda y el Subsistema Jetsam

La ejecución de modelos fundacionales en dispositivos móviles está sujeta a dos factores físicos críticos: el ancho de banda de la memoria y la gestión de procesos del sistema operativo.

La generación autorregresiva de texto depende directamente del ancho de banda de la memoria. Para calcular cada token individual, el procesador debe transferir la totalidad de los pesos del modelo desde la memoria RAM hasta los núcleos de cálculo. En los procesadores Apple A17 Pro y A18 Pro, el subsistema LPDDR5X entrega un ancho de banda de entre 60 y 68 GB/s. Un modelo cuantizado en 4 bits de 2.000 millones de parámetros ocupa aproximadamente 1.3 GB. Con este rendimiento teórico, la velocidad máxima se sitúa en torno a los 45 tokens por segundo.

El segundo límite proviene del sistema operativo. Aunque los modelos recientes de iPhone incorporan 8 GB de memoria física, el kernel de iOS protege la estabilidad global mediante el subsistema jetsam. Cuando una aplicación en primer plano supera entre 4.5 GB y 4.8 GB de memoria activa, el sistema fuerza su cierre preventivo por exceso de memoria. Por esta razón, los modelos de 7B u 8B no resultan viables en iPhone, mientras que los modelos de entre 1B y 3.5B parámetros constituyen el rango operativo ideal.

Si estás empezando, la guía de ejecución de LLMs locales en iPhone explica el flujo de descarga y uso.

Tabla Comparativa: Los Mejores Modelos Abiertos en iPhone

Evaluamos los principales modelos abiertos ejecutados en local en un iPhone 16 Pro (A18 Pro, 8 GB de memoria unificada) mediante cuantización por grupos de 4 bits en MLX con una ventana de contexto de 2.048 tokens:

Análisis Detallado de las Arquitecturas

1. Llama 3.2 (1B y 3B): La Optimización Móvil de Meta

Meta diseñó las variantes de 1B y 3B de Llama 3.2 específicamente para dispositivos móviles mediante poda estructural y destilación de conocimiento a partir de sus modelos mayores de 8B y 70B. La versión de 1B destaca por su inmediatez, superando los 45 tokens por segundo en procesadores A18 Pro con un impacto en memoria inferior a 1 GB. El modelo de 3B ofrece mayor fluidez y seguimiento riguroso de instrucciones, siendo idóneo para redacción y análisis de textos.

2. Qwen 2.5 (1.5B y 3B): Lógica Estructurada y Programación

La familia Qwen 2.5 lidera las comparativas abiertas en razonamiento matemático, comprensión de código y generación de formatos estructurados. En nuestras pruebas locales, Qwen 2.5 1.5B y 3B demostraron una precisión destacada al producir esquemas JSON estrictos y resolver consultas de programación en Swift sin errores sintácticos.

3. SmolLM2 (1.7B): Máxima Eficiencia con Datos Curados

SmolLM2 demuestra que la curación avanzada de datos sintéticos permite a un modelo de menos de 2B igualar la capacidad de arquitecturas anteriores de 7B. Entrenado sobre 11 billones de tokens, ofrece un procesamiento inicial veloz y un consumo de apenas ~1.20 GB en 4 bits, dejando margen holgado para conversaciones prolongadas.

El análisis de Llama 3.2 para chat local en iPhone desarrolla una de las familias de esta selección.

Cuantización en Dispositivos Móviles: 4 Bits vs. 8 Bits

La cuantización reduce el peso de los parámetros desde coma flotante de 16 bits (FP16) hasta representaciones de menor precisión:

• 16 Bits (FP16): Requiere 2 bytes por parámetro. Un modelo de 3B exigiría más de 6 GB de RAM, provocando el cierre inmediato por jetsam en iOS.
• 8 Bits (INT8): Ocupa ~1 byte por peso (~3.2 GB para 3B). Aunque no cierra la app de inmediato, deja un margen muy reducido para la memoria KV cache y puede generar estrangulamiento térmico.
• 4 Bits (MLX por Grupos): Reduce el espacio a ~0.55 bytes por parámetro (~2.1 GB para 3B). La investigación técnica demuestra que preserva más del 97% de la precisión del modelo original al tiempo que duplica la velocidad de generación al reducir a la mitad la transferencia de memoria.

Otra referencia para valorar variantes compactas es la guía de Gemma en iPhone y sus requisitos de ejecución.

Buenas Prácticas para Elegir tu Modelo en Lapis

1. Elige el Modelo Según la Tarea: Utiliza Llama 3.2 1B para consultas breves o corrección de texto donde prime la velocidad instantánea. Cambia a Qwen 2.5 3B o Llama 3.2 3B para redactar documentos o revisar código.
2. Controla la Longitud del Contexto: Cada 1.000 tokens acumulados en la memoria KV ocupan espacio adicional en RAM (~64 MB en FP16). Lapis gestiona este búfer para evitar sobrecargas de memoria.
3. Aprovecha el Modo Avión: Al ejecutarse 100% en local sobre el silicio de tu iPhone, puedes utilizar cualquier modelo en entornos sin cobertura o desconectado de internet con absoluta privacidad.

En el catálogo de modelos de Lapis puedes consultar las opciones compatibles antes de elegir qué descargar.