Comparación de rendimiento de los últimos LLM locales

– Guía 2025 de modelos y especificaciones de máquina para quienes de verdad quieren “IA en mi propio PC” –

1. Lo que este artículo quiere explicarte

Desde comienzos de 2025, la demanda de

“Ejecutar un LLM en mi propio PC en lugar de en la nube”

ha aumentado drásticamente.

Las razones son sencillas:

• Quieres mantener bajo el costo mensual de suscripción
• No quieres enviar datos confidenciales a la nube
• Quieres usarlo sin conexión
• Quieres hacer entrenamiento personalizado o integraciones tipo plugin

Todas son necesidades muy reales en la primera línea.

Por otro lado, es realmente difícil saber:

• Qué modelos son “candidatos serios” ahora mismo
• Hasta dónde puedes llegar con tus especificaciones de máquina
• Si es utilizable sin GPU

Así que en este artículo, basándonos en la información a finales de 2025, vamos a:

1. Comparar el rendimiento y las características de los LLM populares y actualizados que se usan en local
2. Aclarar qué nivel de modelo se ejecuta cómodamente en qué tipo de máquina
3. Mostrar qué modelos encajan con qué casos de uso (chat / programación / matemáticas y razonamiento)

de la forma más clara y práctica posible.

2. Visión global: “LLM modernos” que puedes ejecutar en local

Primero, veamos los modelos principales que suelen aparecer en el contexto de uso local en 2025.

2-1. Gama de modelos (7–10B es el “punto dulce” actual)

Modelos open-source representativos considerados adecuados para uso local:

• Llama 3.1 8B / 70B (Meta)

  • Disponible en 8B / 70B / 405B.
  • El modelo de 8B es ligero pero de alto rendimiento, con compatibilidad multilingüe y contexto de 128K.

• Qwen2.5 7B / 14B / 32B (Alibaba / Qwen)

  • En la generación 2.5, el conocimiento y el rendimiento en razonamiento mejoraron sustancialmente.
  • El modelo de 7B alcanza MMLU 74,2, convirtiéndose en un modelo de primera línea para su clase.

• Gemma 2 2B / 9B / 27B (Google)

  • Un modelo de Google diseñado explícitamente pensando en la ejecución local.
  • La versión de 9B logra un buen equilibrio entre rendimiento y tamaño, con informes de uso en cuantización de 4 bits con alrededor de 7–8GB de VRAM.

• Phi-4 mini / mini-flash / mini-reasoning (Microsoft, ~3,8B)

  • A pesar de tener solo 3,8B parámetros, supera a modelos de más del doble de su tamaño en tareas de matemáticas y razonamiento.
  • Optimizado para dispositivos móviles y de borde, con soporte para contextos de 64K–128K.

• Familia Mistral / Mixtral / Nemo (Mistral AI / NVIDIA)

  • Incluye modelos como Mixtral 8x7B y Mistral Nemo 12B, que usan arquitecturas Mixture-of-Experts (MoE) para lograr alto rendimiento de forma eficiente.

Estos modelos se pueden ejecutar en local mediante herramientas como Ollama / LM Studio / local-gemma / llama.cpp, y a partir de 2025 el patrón principal se ha convertido en:

“Ejecutar un modelo de 7–10B en una sola GPU.”

3. Modelo por modelo: comparación aproximada de rendimiento y “personalidad”

Hay infinidad de benchmarks detallados, pero aquí nos centraremos en diferencias prácticas, de “sensación en el uso real”.

3-1. Llama 3.1 8B: el “centrocampista” sólido y equilibrado

Características

• Dentro de la línea 8B / 70B / 405B, la opción práctica para uso local es el modelo de 8B.
• Ofrece contexto de 128K tokens, soporte multilingüe y un equilibrio sólido de rendimiento en razonamiento, programación y matemáticas.

Rendimiento (a nivel intuitivo)

• En comparación con otros modelos open-source de 7–9B, sirve como una especie de modelo de referencia para calidad global de chat, soporte de japonés y estabilidad.
• No llega al nivel de GPT-4o mini o Gemini 1.5 Flash, pero como “modelo de 8B que puedes ejecutar localmente” se considera bastante competitivo.

Guías para ejecución en local

• Precisión completa (FP16):
  • Una GPU de clase 12GB (RTX 3060–4070, etc.) es un buen punto de partida.
• Con cuantización a 4 bits:
  • Se puede ejecutar de forma realista en GPUs de 8GB, aunque con cierta pérdida de velocidad y precisión.

Buenos casos de uso

• Chatbots de propósito general
• Generación de texto multilingüe, incluido japonés
• Asistencia ligera para programación
• Modelo base para bots internos de preguntas y respuestas (QA)

3-2. Qwen2.5 7B / 14B: modelo “práctico” con fuerte capacidad multilingüe y de programación

Características

• De Qwen2 a Qwen2.5, los datos aumentaron de 7T a hasta 18T tokens, mejorando significativamente el conocimiento y el razonamiento.
• El modelo de 7B alcanza MMLU 74,2, mientras que el de 72B llega a 86,1 — cifras muy altas para su tamaño.
• Cuenta con abundantes variantes especializadas por tarea, como modelos Coder y Math.

Rendimiento

• Fuerte en chat general, pero especialmente en:
  • Programación (Qwen2.5-Coder)
  • Matemáticas y razonamiento (Qwen2.5-Math)
    donde tiende a destacar.

Guías para ejecución en local

• Modelos de 7B:
  • Numerosos reportes de uso fluido en GPUs de 8–12GB de VRAM con cuantización de 4 bits.
• Modelos de 14B:
  • De forma realista necesitan 16–24GB de VRAM (clase RTX 4080 / 4090).

Buenos casos de uso

• Asistencia de programación / generación de código / refactorización
• Resolución de problemas matemáticos y algorítmicos (buen rendimiento en GSM8K, MATH, etc.)
• Entornos multilingües mixtos (chino + inglés + japonés, contextos asiáticos más amplios)
• Generación de blogs técnicos / documentación

3-3. Gemma 2 9B: un modelo de Google pensado “desde el inicio” para uso local

Características

• Disponible en tamaños de 2B / 9B / 27B.
• Google lo posiciona oficialmente como “fácil de ejecutar en local”, con una herramienta específica local-gemma disponible en Hugging Face.
• El modelo de 9B tiene:
  • ~9B parámetros
  • Contexto de 8.192 tokens
  • Elementos de arquitectura moderna como GQA y RoPE.

Requisitos de VRAM / almacenamiento

• Modelo bruto de 9B:
  • ~40GB de disco, ~40GB de VRAM (o ~20GB en BF16), se recomiendan 8GB+ de RAM.
• Ejemplos de presets cuantizados a 4 bits de local-gemma:
  • Preset “Memory”: 9B usa ~7,3GB de VRAM
  • “Memory Extreme”: se ha informado que puede ejecutarse con tan solo ~3,7GB de VRAM mediante offloading a CPU.

Rendimiento

• Se evalúa como un modelo “todoterreno” similar a Llama 3.1 8B,
  con puntuaciones especialmente buenas en generación natural de texto en inglés y estructura lógica de los textos.

Buenos casos de uso

• Chat general y generación de texto
• Equipos internacionales que usan principalmente inglés con japonés como idioma secundario
• Usuarios que quieren inferencia local ahora y posible integración futura con herramientas de Google

3-4. Phi-4 mini / mini-flash / mini-reasoning: el “monstruo pequeño” de 3,8B

Características

• Con apenas 3,8B parámetros:
  • Supera a modelos de más del doble de tamaño en benchmarks de matemáticas (GPQA, Math500, etc.)
  • Microsoft lo presenta como comparable a o1-mini de OpenAI en algunas tareas.
• Variantes disponibles:
  • mini: propósito general
  • mini-flash: baja latencia / alto rendimiento (throughput)
  • mini-reasoning: centrado en matemáticas y razonamiento lógico
• Soporta contextos de 64K–128K y está diseñado para ejecutarse en dispositivos móviles / NPUs.

Guías para ejecución en local

• Con 3,8B, es lo bastante pequeño como para que:
  • Máquinas solo con CPU, sin GPU dedicada
  • Portátiles con 8–16GB de RAM
    puedan ejecutarlo con velocidades muy utilizables.

Rendimiento

• Excepcionalmente fuerte en tareas de razonamiento para su tamaño — ideal si quieres un modelo “ligero pero afilado”.
• Para estilo natural de conversación, Llama 3.1 y Gemma 2 pueden ganar en algunos escenarios,
  pero en matemáticas, lógica y preguntas algorítmicas, es extremadamente capaz.

Buenos casos de uso

• Configuración inicial de LLM local en un PC sin GPU
• “Tutor” para aprendizaje de matemáticas y programación
• Chatbots ligeros / inferencia en dispositivos de borde

3-5. Familia Mistral / Mixtral / Nemo: modelos “pesados pero potentes” con MoE

Características

• Modelos como Mixtral 8x7B utilizan arquitecturas Mixture-of-Experts:
  “Internamente grandes, pero solo un subconjunto se activa por token”, lo que aumenta la eficiencia.
• Mistral Nemo 12B de NVIDIA está fuertemente optimizado para GPUs y ofrece un alto throughput en hardware tipo RTX 4090.

Guías para ejecución en local

• Para un uso realmente cómodo, en la práctica hablamos de:
  • RTX 4090 (24GB VRAM) + 64GB de RAM o más
  • O GPUs tipo A100 / H100

Buenos casos de uso

• Ejecutar un servidor LLM on-prem para proporcionar servicios de IA a múltiples usuarios
• Organizaciones o laboratorios que quieren modelos de alto rendimiento sin depender de la nube
• Cargas pesadas como autocompletado y análisis de grandes bases de código

4. ¿Qué clases de modelos son realistas para tus especificaciones de máquina?

Veamos ahora configuraciones típicas de PC y qué tamaños de modelos puedes esperar correr cómodamente.

4-1. Portátil sin GPU dedicada (alrededor de 16GB de RAM)

Ejemplo de especificaciones

• CPU: portátil tipo Core i5 / Ryzen 5
• GPU: integrada (sin GPU dedicada)
• Memoria: 16GB
• Almacenamiento: SSD de 512GB

Tamaños de modelo realistas

• Hasta modelos de ~3–4B son el objetivo principal:
  • p. ej., Phi-4-mini / mini-flash / mini-reasoning, variantes pequeñas de Qwen2.5 alrededor de 1–3B.
• Modelos de 7B pueden ejecutarse en cuantización de 4 bits solo con CPU, pero:
  • Las respuestas serán bastante lentas
  • Cargas prolongadas forzarán la batería y la temperatura

Buenos casos de uso

• Chat y generación de texto ligeros
• Uso educativo para matemáticas y algoritmos (familia Phi-4 mini)
• Fase de “primer intento” con LLM locales en hardware móvil o de portátil

4-2. Sobremesa con GPU de gama media (RTX 3060–4070, 8–12GB VRAM)

Ejemplo de especificaciones

• GPU: RTX 3060 / 4060 / 4070 (8–12GB VRAM)
• Memoria: 32GB de RAM
• Almacenamiento: SSD de 1TB

En la documentación de entorno local de Gemma 2,
se recomiendan configuraciones tipo “RTX 3060 (12GB VRAM), 32GB RAM, SSD de 500GB–1TB” como base mínima.

Tamaños de modelo realistas

• Modelos de 7–9B con cuantización de 4 bits:
  • Llama 3.1 8B, Qwen2.5 7B, Gemma 2 9B (usando el preset Memory de local-gemma), etc.
• Modelos de 3–4B se sentirán “sobradamente fluidos”.

Buenos casos de uso

• Chat diario + creación de documentación para el trabajo
• Asistencia de programación y revisión de código
• Bots internos de QA / búsqueda de conocimiento a pequeña escala

Este rango de especificaciones se está convirtiendo en la configuración estándar de facto para quienes “usan seriamente LLM locales en casa”.

4-3. Máquinas con GPU de gama alta (RTX 4080 / 4090, 16–24GB VRAM)

Ejemplo de especificaciones

• GPU: RTX 4080 / 4090 (16–24GB VRAM)
• Memoria: 64GB de RAM o más
• Almacenamiento: SSD de 1–2TB

Con una configuración RTX 4090 + Ollama, los benchmarks muestran
que se pueden alojar múltiples modelos (Llama / Qwen / Gemma / DeepSeek, etc.) a alta velocidad.

Tamaños de modelo realistas

• Modelos de 14B–27B con cuantización de 4 bits
• Varios modelos ejecutándose en paralelo (p. ej., uno para chat y otro para código)

Buenos casos de uso

• “Servidor de IA” on-prem para un equipo pequeño
• Modelos de programación pesados (Qwen2.5-Coder 14B/32B, etc.)
• I+D, benchmarking y fine-tuning personalizado

4-4. Workstations / servidores (A100 / H100, multi-GPU)

Ejemplo de especificaciones

• GPU: A100 40GB / H100 80GB × 1 o varias
• Memoria: 128GB+
• Almacenamiento: 2TB+

Los requisitos de sistema de Gemma 2 también citan configuraciones tipo A100 / H100 como ejemplos óptimos.

Tamaños de modelo realistas

• Inferencia en precisión completa con modelos de 70B (p. ej., Llama 3.1 70B)
• Servicio de alta capacidad para múltiples usuarios simultáneos

Buenos casos de uso

• Plataformas de IA on-prem para empresas e instituciones de investigación
• Búsqueda de conocimiento a gran escala y servicios internos tipo Copilot
• Fine-tuning (incluidos métodos basados en RL) e investigación avanzada

Para usuarios individuales esto suele ser excesivo,
pero para organizaciones que quieren mantener capacidades de LLM de nivel nube completamente on-prem,
se está convirtiendo en una opción realista.

5. Cómo leer los benchmarks de rendimiento sin agobiarte

Los informes de rendimiento de LLM están llenos de siglas:

• MMLU
• GSM8K
• HumanEval
• GPQA
• MT-Bench

Es mucho, la verdad.

Aquí tienes una forma simplificada de entenderlos:

5-1. Categorías generales de benchmarks

• MMLU: Tareas generales y académicas de cultura general
  → Una medida aproximada de la “amplitud de conocimiento / educación general”.
• GSM8K / MATH: Problemas de palabras de matemáticas
  → Mide cálculo, lógica y razonamiento numérico.
• HumanEval / MBPP: Tareas de programación
  → Evalúa generación de código y comprensión algorítmica.
• MT-Bench: Diálogo, razonamiento y seguimiento de instrucciones evaluado por humanos.

Se sabe que Qwen2.5 y Phi-4 mini son fuertes en benchmarks relacionados con matemáticas como GSM8K y MATH,
por lo que son modelos “pequeños pero rápidos pensando”.

Llama 3.1 8B y Gemma 2 9B tienden a obtener buenas puntuaciones en métricas globales como MMLU y MT-Bench,
lo que los convierte en “generalistas equilibrados” que rinden de forma consistente en diversas tareas.

5-2. Factores que impulsan la “usabilidad” real

Más allá de las puntuaciones de benchmark, para el uso local importan mucho:

• Velocidad de respuesta (tokens por segundo)
• Naturalidad del japonés (o tu idioma principal)
• Obediencia a las instrucciones (¿se va por las ramas?)
• Longitud de contexto (cuánto material puedes meter de una vez)
• Estabilidad del modelo (qué tan propenso es a “desvariar”)

Por ejemplo, Phi-4 mini-flash usa una nueva arquitectura híbrida que, según se informa, ofrece:

• 10× más throughput
• 2–3× menor latencia

en comparación con modelos anteriores, lo que lo hace muy atractivo en términos de capacidad de respuesta práctica.

6. Por caso de uso: ¿qué combinación modelo + especificación encaja mejor?

Para terminar, veamos algunas necesidades habituales y combinaciones de modelo + especificaciones de máquina que encajan con ellas.

6-1. Uso principal: chat diario + blogging / redacción de documentos

Modelos candidatos

• Llama 3.1 8B
• Gemma 2 9B
• (Para configuraciones más ligeras) familia Phi-4 mini

Especificaciones recomendadas

• Sin GPU:
  → Usa Phi-4 mini como modelo principal.
• RTX 3060–4070 (8–12GB VRAM):
  → Ejecuta Llama 3.1 8B / Gemma 2 9B en cuantización de 4 bits cómodamente.

Puntos clave

• Para redacción natural en japonés y buena estructura de texto,
  los modelos de clase 8–9B dan una sensación de fiabilidad muy alta.
• Si manejas grandes volúmenes de texto, elige al menos un modelo de 8B como caballo de batalla principal.

6-2. Uso intensivo de asistencia en programación / generación de código

Modelos candidatos

• Qwen2.5-Coder 7B / 14B
• Llama 3.1 8B (general + código)

Especificaciones recomendadas

• Para 7B:
  • RTX 3060–4070 (8–12GB VRAM) + 32GB de RAM
• Para 14B:
  • RTX 4080 / 4090 (16–24GB VRAM) + 64GB de RAM

Puntos clave

• Para una experiencia tipo “Copilot” en tu IDE con un LLM local,
  modelos de 7B ya son bastante prácticos.
• Si también quieres que genere tests, refactorice código y comprenda profundamente repositorios complejos,
  los modelos de clase 14B y GPUs de gama alta te darán mucho más margen.

6-3. Uso centrado en matemáticas, razonamiento e investigación

Modelos candidatos

• Phi-4-mini-reasoning / mini-flash
• Qwen2.5-Math 7B

Especificaciones recomendadas

• GPUs inexistentes o de gama media son suficientes (clase 3,8B–7B).

Puntos clave

• En tareas de matemáticas y lógica, la “inteligencia por parámetro” importa más que el tamaño bruto,
  y modelos del nivel de Phi-4 mini ya rinden de manera impresionante.
• Empieza por modelos ligeros y amplía a Qwen2.5-Math si necesitas más potencia.

7. Resumen: pautas sencillas para elegir un LLM local

Ha sido mucha información, así que terminemos con un flujo de decisión simple para elegir modelos.

1. Primero, deja que tus especificaciones de máquina marquen el límite superior

   • Sin GPU → Hasta ~4B (Phi-4 mini, etc.)
   • 8–12GB VRAM → 7–9B (Llama 3.1 8B, Qwen2.5 7B, Gemma 2 9B en 4 bits)
   • 16–24GB VRAM → Modelos de 14–27B se vuelven realistas
   • 40GB+ VRAM → Modelos de 70B pasan a ser factibles

2. Después, elige una familia de modelos según tu caso de uso principal

   • Propósito general → Llama 3.1 / Gemma 2
   • Centrado en programación → Qwen2.5-Coder
   • Matemáticas y razonamiento → Phi-4 mini / Qwen2.5-Math

3. Por último, pruébalos de verdad y decide por “sensación”

   • Velocidad de respuesta
   • Estilo de lenguaje (especialmente en japonés)
   • Qué tan bien siguen las instrucciones

Estos son factores de “ajuste” que no se ven del todo en los números,
así que el método más fiable es probar 2–3 modelos en paralelo con herramientas como Ollama o local-gemma.

En comparación con los grandes modelos en la nube, los LLM locales todavía tienen más restricciones, pero:

• Puedes controlar los costos con más facilidad
• No necesitas enviar datos sensibles fuera de tu máquina
• Puedes adaptarlos a tus propias preferencias

Todo lo cual hace que probablemente se vuelvan aún más importantes en entornos reales y prácticos de aquí en adelante.