La cuenta se hace en dos minutos con una multiplicación y un margen, y el resultado casi nunca coincide con lo que apetece comprar. Los tramos que vienen abajo separan lo que entra con holgura de lo que arranca y se arrastra.
La gula de la IA por la VRAM
Tres cosas compiten por el mismo espacio, y solo la primera la decide el fabricante del modelo. Los pesos son la parte grande y predecible: se calcula multiplicando los parámetros en miles de millones por los bits que ocupa cada peso y dividiendo entre ocho para pasar a gigabytes, la fórmula que hay detrás de las tablas de 85 modelos abiertos revisadas el 23 de octubre de 2026. El detalle que casi nadie mira está en los decimales: Q4_K_M no gasta cuatro bits por peso sino 4,85 y Q8_0 se va a 8,5, según la misma fuente.
La caché KV es la segunda en discordia y crece con el contexto: un 70B a 4K de contexto consume unos 3 GB en FP16 y a 32K se multiplica por ocho, hasta unos 24 GB, siempre según llamaperf. El tercer sumando es el margen que reserva el motor de inferencia, que willitrunllm cifra en un 5% de los pesos más 0,6 GB, con un techo de 3 GB.
El 10% y 1 GB que willitrunllm reserva para un contexto de unos 4.000 tokens es el colchón que evita que el modelo se caiga cuando la conversación se alarga. Con un 70B en Q4_K_M la cuenta queda así:
- Pesos: 70 × 4,85 ÷ 8, unos 42,4 GB.
- Margen del 10% más 1 GB sobre los pesos: unos 47,6 GB.
- Caché KV con 4.000 tokens en FP16: unos 3 GB más.
- Total realista: por encima de 50 GB, no los 35 GB que sugiere la regla de los cuatro bits.
Ese desvío explica por qué dos personas con el mismo modelo obtienen resultados distintos: una prueba con la configuración por defecto del motor y otra con contexto largo y caché a plena precisión no están midiendo lo mismo, aunque ambas se publiciten como «un 70B en Q4».
Un MoE no te ahorra memoria, solo cómputo
El LFM2.5-24B-A2B de Liquid AI es el ejemplo que más confunde: tiene 24.000 millones de parámetros totales y activa solo dos mil millones por token, con 64 expertos por bloque y enrutado top-4 sobre diez capas de atención. Los ahorros son de cómputo y de latencia, no de espacio: el fichero pesa lo que pesa el modelo completo, y en Q4_K_M eso son unos 14,6 GB antes de contar contexto.
La caché KV tampoco se reduce por activar menos expertos, porque depende de la arquitectura de atención y de la longitud del contexto, no del número de expertos que entren en juego. Con 131.000 tokens de ventana declarados en esa misma ficha, el modelo puede crecer bastante más de lo que sugiere su tamaño en disco.
Por eso el enrutado disperso cambia la factura de tiempo, no la de memoria, y conviene tenerlo claro antes de comprar VRAM pensando que un MoE te va a hacer un favor que no hace.
¿Qué modelo cabe en cada tramo de tarjeta?
Las cifras de la tabla salen de aplicar la fórmula anterior a cuantizaciones que existen, no a las que prometen las hojas de producto. Son estimaciones: el consumo real depende de la cuantización exacta, de la longitud de contexto, del tamaño de lote y del motor de inferencia elegido.
| VRAM |
Modelo que cabe con holgura |
Cuantización |
Contexto cómodo |
| 8 GB |
7B a 8B |
Q4_K_M |
4K a 8K |
| 12-16 GB |
13B a 14B, u 8B en Q8_0 |
Q4_K_M, Q8_0 |
8K a 16K |
| 24 GB |
24B a 32B |
Q4_K_M |
8K a 16K |
| 48 GB |
70B |
Q4_K_M |
4K a 8K |
| 64-96 GB |
70B en Q8_0 o 120B en Q4_K_M |
Q8_0, Q4_K_M |
16K a 32K |
El tramo de 8 GB es el que engaña, porque un 7B en Q4_K_M ocupa unos 5 GB y deja poco aire para contexto: en cuanto abres un documento largo empieza el reparto con la CPU. La franja de 12 a 16 GB equilibra mejor precio y capacidad, porque un 13B en Q4_K_M ocupa unos 8 GB y deja aire para 8K de contexto.
Los 24 GB son el punto dulce para quien quiere un modelo de trabajo sin gastar en dos gráficas: un 32B en Q4_K_M son unos 19,4 GB de pesos, así que entra con margen para 8K de contexto y algo de caché. Por encima de 48 GB ya hablamos de 70B en Q4 o de dos tarjetas, y ahí el límite deja de ser el dinero para convertirse en la fuente de alimentación y el espacio en la caja.
¿Cuándo te bastan la CPU y la RAM del sistema?
Repartir un modelo entre la gráfica y el procesador funciona, pero convierte el ancho de banda en el factor que decide tu experiencia. La DDR5 de doble canal mueve decenas de gigabytes por segundo y una tarjeta de gama alta juega en otra liga, así que cada token que sale de la parte no acelerada cuesta varias veces más tiempo que el anterior.
Hay casos en los que el reparto tiene todo el sentido: modelos de hasta 14.000 millones en Q4, tareas por lotes y usos donde la privacidad pesa más que la latencia. Si consultas dos veces al día, el procesador te sirve igual.
El reparto se vuelve un castigo cuando el contexto crece, cuando hay varios usuarios a la vez o cuando el modelo pasa de 30.000 millones. Ahí la espera deja de ser una molestia y se convierte en un cambio de herramienta, y es el momento en el que la memoria de la gráfica deja de ser un capricho.
Quien monta un equipo desde cero y duda entre gastar en gráfica o en RAM puede mirar el reparto que describimos en qué montar para autohospedar en 2026: la memoria del sistema se compra una vez y se amplía mal, mientras que la tarjeta se cambia entera.
¿Cómo medir en tu máquina antes de pagar?
La prueba definitiva no está en ningún benchmark ajeno, sino en el equipo que tienes delante y en el uso real que le vas a dar. Si usas Ollama, el comando `ollama ps` muestra el tamaño que ocupa el modelo cargado y el reparto entre procesador y gráfica en la columna PROCESSOR, con porcentajes del estilo 48%/52% cuando parte del modelo vive en la CPU.
El detalle que invalida muchas pruebas es el contexto por defecto: Ollama arranca con 4.096 tokens, así que una medición con los valores de fábrica no dice nada sobre tu caso si trabajas con documentos largos. Sube el contexto antes de concluir nada, por ejemplo con `OLLAMA_CONTEXT_LENGTH=8192 ollama serve`, y repite la misma pregunta con el mismo documento.
Si el modelo se queda corto por poco, la palanca más rentable es la cuantización de la caché KV: `OLLAMA_KV_CACHE_TYPE=q8_0` la guarda a 8 bits en lugar de 16 y reduce su tamaño a la mitad, aunque la opción es global y afecta a todos los modelos que cargues, siempre según el mismo FAQ. El motor de inferencia también mueve la cifra, y en la comparativa de Ollama, llama.cpp, vLLM y TGI se ve que cada uno reserva memoria a su manera.
Para ver el consumo en vivo, `nvidia-smi` da el uso de VRAM de la gráfica en tiempo real y sirve para pillar el pico durante la carga del modelo en memoria. Antes de comprar, prueba el contexto largo de verdad: un documento de 30.000 o 40.000 tokens dice más sobre tu futura factura que cualquier tabla de terceros.
Los errores que cuestan dinero
Comprar memoria para el modelo que nunca vas a ejecutar sigue siendo el fallo más caro, y casi siempre nace del mismo sitio: un vídeo donde un 70B responde en un equipo ajeno. Antes de pagar, escribe qué modelo, con qué cuantización y con qué contexto vas a usar de verdad, y comprueba si el número te deja margen o te obliga a recortar en cuanto llegue el primer PDF largo.
Confundir tamaño con calidad empuja el gasto en la dirección contraria: un 24B que activa 2B por token puede responderte más rápido que un 70B denso, y hacerlo con menos memoria, aunque en preguntas abiertas note la diferencia.
Olvidar el contexto es el fallo más común en las comparativas caseras, porque el valor por defecto de casi cualquier entorno es corto y cómodo. La caché KV se multiplica por ocho al pasar de 4K a 32K en un 70B, así que una prueba que va fina con 4.000 tokens puede romper la memoria en cuanto metes un informe entero.
Fiarse de los tokens por segundo de un benchmark ajeno cierra la lista, y es el más difícil de detectar porque el número parece objetivo. La velocidad depende del motor de inferencia, del tamaño de lote, de la cuantización y del ancho de banda de la memoria, de modo que el mismo modelo puede ir al doble en dos equipos con la misma tarjeta.
La memoria manda más que los FLOPs
El marketing vendió teraflops como la medida de todo, y la inferencia local ha devuelto cada cifra a su sitio: un equipo con menos cómputo y más memoria puede ganarle la partida al de la caja más cara.
El contexto de mercado no invita a decidir con calma: los precios de contrato de la DRAM suben en torno a un 20% en el cuarto trimestre de 2026, después de un 80% en el segundo y un 40% en el tercero, con la demanda de inferencia de IA apretando la oferta.
Con la memoria cara, el tramo que no vas a usar es el que peor se amortiza, y el que sí usas se aguanta mejor cuando lo has dimensionado con contexto y no con entusiasmo. Lo que no cabe en la tarjeta no lo arregla ningún driver nuevo.
