Cuantización: correr modelos grandes sin fundir la GPU
Un modelo de 70B no cabe en tu tarjeta. Cuantizarlo lo mete dentro casi sin que se note. Casi.
llmcuantizacióninferencia
notas de campo
Blog
Pensamientos, tutoriales y experiencias sobre desarrollo web, arquitectura e ingeniería.
Prompt caching: recortar coste y latencia en producción
El descuento más fácil de tu factura de LLM está en dejar de reenviar el mismo contexto una y otra vez.
llmprompt-cachingcosteproduccion
Tokenización: por qué tu LLM no sabe contar letras
El modelo no lee letras ni palabras: lee trozos. Y ese detalle explica la mitad de sus rarezas.
llmtokenizacionpython
Fine-tuning o RAG: cómo elegir sin quemar presupuesto
No compiten por el mismo trabajo. Uno cambia lo que el modelo sabe; el otro, cómo se comporta. Confundirlos sale caro.
llmfine-tuningrag
Inyección de prompts: el agujero que tu RAG no ve
No es un bug que se parchea con más instrucciones. Es la consecuencia de mezclar datos e instrucciones en el mismo canal.
seguridadllmragagentes
Memoria en agentes: qué recuerda tu LLM y cómo
Una ventana de contexto grande no es memoria. Distinguirlas es la diferencia entre un agente y un chat con amnesia.
agentesllmmemoriaarquitectura
Reranking en RAG: el segundo filtro que casi nadie pone
El vector te trae diez candidatos, pero el orden en que llegan casi nunca es el bueno. Notas de campo sobre añadir un reranker sin arruinar la latencia.
ragia-generativareranking
Chunking para RAG: dónde cortar los documentos
Casi todos los fallos de recuperación no son culpa del embedding, sino de cómo troceaste el texto. Notas de campo para partir documentos sin romper el sentido.
ragia-generativaembeddings
Salidas estructuradas: deja de parsear texto de un LLM
Sacar datos de un LLM con expresiones regulares es una bomba de relojería. Notas de campo para obtener JSON que valida a la primera y no te revienta en producción.
llmia-generativapython
De dato a decisión: dashboards que la gente sí mira
Un panel que nadie abre no es neutro: cuesta tiempo, atención y credibilidad. Notas de campo para construir dashboards que cambian una decisión.
datosvisualizaciónproducto
Caché en RAG: cómo recortar la factura de tokens a la mitad
El mismo contexto, viajando una y otra vez. Ahí está tu factura, y ahí está la palanca.
iaragrendimiento
Retrospectivas que no dan vergüenza ajena
La retro no es un ritual de quejas ni una terapia de grupo: es la única reunión que existe para cambiar algo.
agileequipos de trabajo
