Mixture of experts: por qué un modelo enorme apenas usa sus parámetros
Un modelo anuncia cientos de miles de millones de parámetros y activa una fracción por token. No es marketing: es cómo separa capacidad de coste.
llmarquitecturamoe
notas de campo
Blog
Pensamientos, tutoriales y experiencias sobre desarrollo web, arquitectura e ingeniería.
Batching continuo: cómo una GPU sirve a cien peticiones a la vez
Si tu motor de inferencia agrupa peticiones por lotes fijos, estás pagando GPU que se queda mirando. El batching continuo llena esos huecos.
llminferenciathroughput
El KV cache: por qué el primer token tarda y los demás vuelan
Si entiendes por qué la primera palabra cuesta y el resto es gratis, dejas de pelearte con la latencia de tu LLM.
llmkv-cachelatencia
Enrutado de modelos: no todo merece el modelo grande
La mitad de tus peticiones no necesitan el modelo caro. El truco está en saber cuáles antes de gastar.
iallmcostearquitectura
Por qué alucinan los LLM (y qué hacer al respecto)
Una alucinación no es un fallo que parchear: es el comportamiento por defecto de un modelo entrenado para continuar, no para saber.
llmalucinacionesrag
Ventana de contexto: por qué llenarla no te hace más listo
Meter más tokens en el prompt parece gratis y suele salir caro: el modelo se distrae justo donde no mira.
llmcontextorag
LoRA: afinar un modelo sin pagar el precio de reentrenarlo entero
Congelas el modelo, entrenas un parche diminuto de rango bajo y obtienes casi el mismo resultado por una fracción del coste.
fine-tuninglorallmeficiencia
Decodificación especulativa: acelerar la inferencia sin tocar el modelo
Un modelo pequeño arriesga varios tokens de golpe y el grande solo verifica: misma salida, menos espera.
llminferencialatenciaoptimizacion
Tool calling: cómo un LLM decide llamar a tu código
El modelo no ejecuta nada; solo rellena un formulario y te pide que lo hagas tú. Notas de campo sobre por qué esa distinción lo cambia todo.
llmagentestool-calling
Búsqueda híbrida en RAG: cuando el vector no basta
La búsqueda semántica entiende el sentido pero se pierde con un código de error o un nombre propio. Notas de campo sobre juntar BM25 y vectores sin montar un frankenstein.
ragbúsquedaembeddings
Temperatura, top-p y top-k: domar la aleatoriedad del modelo
El mismo prompt da respuestas distintas cada vez. No es magia: son tres perillas que casi nadie toca con criterio.
llmsamplinginferencia
Cuantización: correr modelos grandes sin fundir la GPU
Un modelo de 70B no cabe en tu tarjeta. Cuantizarlo lo mete dentro casi sin que se note. Casi.
llmcuantizacióninferencia
