Pensamientos, tutoriales y experiencias sobre desarrollo web, arquitectura e ingeniería.
Sirviendo un LLM, la mayoría de tu VRAM se va en la KV cache y reservarla a lo bruto desperdicia más de la mitad. La solución la inventaron los sistemas operativos hace décadas.
El mismo modelo procesa mil tokens de golpe y luego sufre para escupir uno a uno. Entender por qué cambia cómo lo sirves.
Por qué los modelos modernos hacen que varias cabezas de atención compartan memoria, y qué ganas tú en latencia cuando entiendes el porqué.
Un modelo anuncia cientos de miles de millones de parámetros y activa una fracción por token. No es marketing: es cómo separa capacidad de coste.
Si tu motor de inferencia agrupa peticiones por lotes fijos, estás pagando GPU que se queda mirando. El batching continuo llena esos huecos.
Si entiendes por qué la primera palabra cuesta y el resto es gratis, dejas de pelearte con la latencia de tu LLM.
La mitad de tus peticiones no necesitan el modelo caro. El truco está en saber cuáles antes de gastar.
Una alucinación no es un fallo que parchear: es el comportamiento por defecto de un modelo entrenado para continuar, no para saber.
Meter más tokens en el prompt parece gratis y suele salir caro: el modelo se distrae justo donde no mira.
Congelas el modelo, entrenas un parche diminuto de rango bajo y obtienes casi el mismo resultado por una fracción del coste.
Un modelo pequeño arriesga varios tokens de golpe y el grande solo verifica: misma salida, menos espera.
El modelo no ejecuta nada; solo rellena un formulario y te pide que lo hagas tú. Notas de campo sobre por qué esa distinción lo cambia todo.
