Cómo ejecutar LLMs en local en iPhone (100% sin conexión)

Ejecutar un modelo de lenguaje de alto rendimiento en un dispositivo a batería con 8 GB de memoria unificada se consideraba inviable hasta que convergieron dos avances técnicos: los marcos de cuantización optimizados para Apple Silicon y los modelos destilados de 1B a 3B de parámetros.

El Cambio de Arquitectura: Por qué Apple Silicon lo Cambia Todo

Las arquitecturas de computadores tradicionales separan la RAM del sistema de la VRAM de la tarjeta gráfica dedicada. Cada vez que se ejecuta una multiplicación de matrices, los pesos tensores deben transferirse por el bus PCIe. En dispositivos móviles, esto genera sobrecalentamiento térmico y un drenaje agresivo de batería.

Apple Silicon resuelve este cuello de botella directamente en la pastilla de silicio gracias a la Arquitectura de Memoria Unificada (UMA). La CPU, los núcleos gráficos y el Neural Engine comparten el mismo bus de alta velocidad. En un procesador A17 Pro o A18 Pro, el ancho de banda supera los 60 GB/s. Cuando un LLM genera palabras, la GPU lee los pesos en el mismo espacio sin copias intermedias.

El Presupuesto de Memoria en iOS: Límites de Jetsam

Aunque un iPhone 15 Pro, iPhone 16 o iPhone 16 Pro cuenta con 8 GB físicos de RAM LPDDR5X, las aplicaciones no pueden ocupar todo ese espacio. El kernel de iOS impone límites estrictos mediante el subsistema jetsam:

• Reserva del Sistema: iOS reserva entre 2.5 GB y 3.0 GB para SpringBoard, servicios de audio, telefonía y caché del sistema.
• Límite para la App en Primer Plano: Una aplicación en primer plano puede retener entre 3.8 GB y 4.8 GB antes de recibir avisos de baja memoria o ser cerrada por el sistema.
• El Rango Óptimo: Los modelos cuantizados en 4 bits de entre 1.0B y 3.5B parámetros requieren entre 900 MB y 2.4 GB de RAM, dejando margen holgado para la memoria KV cache, la interfaz y las tareas del sistema operativo.

Para elegir una primera descarga, consulta la guía de modelos abiertos para iPhone y sus tamaños.

Cuantización en 4 Bits: Comprimir Pesos sin Perder Precisión

En el formato habitual FP16 (coma flotante de 16 bits), cada parámetro del modelo ocupa 2 bytes. Un modelo de 3.000 millones de parámetros requeriría 6 GB de RAM solo para residir en memoria, sobrepasando el umbral de seguridad de iOS. Mediante técnicas de cuantización en 4 bits (como AWQ o la cuantización por grupos de MLX), cada peso se comprime a 0.5 bytes:

La comparación de cuantización a 4 y 8 bits desarrolla cómo reducir el tamaño del modelo y qué valorar al hacerlo.

Paso a Paso: Ejecución sin Configuraciones Complejas

Anteriormente, usar IA local en iOS requería compilar binarios C++ como llama.cpp mediante Xcode, perfiles de TestFlight y transferir archivos GGUF manualmente. Lapis simplifica todo el proceso:

1. Descarga Lapis desde la App Store: Sin cuentas de desarrollador ni certificados especiales.
2. Selecciona tu Modelo: Elige entre modelos verificados (Qwen 2.5 para código y redacción, DeepSeek-R1 para razonamiento lógico paso a paso, SmolVLM2 para OCR de fotos) o importa repositorios MLX directamente desde Hugging Face.
3. Activa el Modo Avión: Desconecta Wi-Fi y datos móviles. Haz tu pregunta. La generación comienza al instante con latencia de primer token casi nula y cero conexiones de red.

Para valorar el flujo de uso y las funciones disponibles, consulta los criterios para elegir una app de IA local en iPhone.

Impacto en Batería y Temperatura en el Día a Día

Existe el mito de que la inferencia en local agota la batería del iPhone rápidamente. Dado que los núcleos de la GPU de Apple Silicon entran en suspensión inmediatamente después de terminar de generar texto, el consumo en reposo es exactamente de 0% CPU. Generar una respuesta de 300 palabras toma entre 8 y 12 segundos y consume menos del 0.3% de la batería total en un iPhone 16 Pro.

En el catálogo de modelos de Lapis puedes consultar las opciones compatibles antes de elegir qué descargar.