Temperatura, top-p y top-k: domar la aleatoriedad del modelo
El mismo prompt da respuestas distintas cada vez. No es magia: son tres perillas que casi nadie toca con criterio.
llmsamplinginferencia
notas de campo
Blog
Pensamientos, tutoriales y experiencias sobre desarrollo web, arquitectura e ingeniería.
Cuantización: correr modelos grandes sin fundir la GPU
Un modelo de 70B no cabe en tu tarjeta. Cuantizarlo lo mete dentro casi sin que se note. Casi.
llmcuantizacióninferencia
Prompt caching: recortar coste y latencia en producción
El descuento más fácil de tu factura de LLM está en dejar de reenviar el mismo contexto una y otra vez.
llmprompt-cachingcosteproduccion
Tokenización: por qué tu LLM no sabe contar letras
El modelo no lee letras ni palabras: lee trozos. Y ese detalle explica la mitad de sus rarezas.
llmtokenizacionpython
Fine-tuning o RAG: cómo elegir sin quemar presupuesto
No compiten por el mismo trabajo. Uno cambia lo que el modelo sabe; el otro, cómo se comporta. Confundirlos sale caro.
llmfine-tuningrag
Inyección de prompts: el agujero que tu RAG no ve
No es un bug que se parchea con más instrucciones. Es la consecuencia de mezclar datos e instrucciones en el mismo canal.
seguridadllmragagentes
Memoria en agentes: qué recuerda tu LLM y cómo
Una ventana de contexto grande no es memoria. Distinguirlas es la diferencia entre un agente y un chat con amnesia.
agentesllmmemoriaarquitectura
Salidas estructuradas: deja de parsear texto de un LLM
Sacar datos de un LLM con expresiones regulares es una bomba de relojería. Notas de campo para obtener JSON que valida a la primera y no te revienta en producción.
llmia-generativapython
Streaming de respuestas de un LLM: la UX que cambia todo
El modelo tarda lo mismo, pero la espera se siente la mitad. Ese es todo el truco.
iallmux
Evaluar un LLM en serio: por qué 'a mí me funciona' no basta
Sin un conjunto de evaluación, cada cambio de prompt es una apuesta a ciegas.
iallmevaluación
Prompt engineering que sí escala: del prompt mágico al sistema
Un prompt que funciona en tu pantalla no es un sistema. Es un accidente que aún no se ha roto.
iallmprompting
RAG en producción: por qué tu chatbot alucina y cómo evitarlo
El problema casi nunca es el modelo. Es lo que le das de comer.
iaragllm
