El patrón ReAct: razonar y actuar en el mismo bucle
Un agente que solo razona alucina con estilo; uno que solo actúa se pierde. ReAct los junta en el mismo turno, y por eso funciona.
agentesllmrazonamientoarquitectura
notas de campo
Blog
Pensamientos, tutoriales y experiencias sobre desarrollo web, arquitectura e ingeniería.
Late interaction: por qué ColBERT recupera mejor que un solo vector
Comprimir un documento en un vector pierde información. La interacción tardía la conserva, y a veces vale el coste.
ragembeddingsrecuperación
Codificación posicional rotatoria (RoPE), explicada
Por qué casi todos los LLM modernos rotan sus vectores en vez de sumar posiciones.
llmtransformersatención
Reescritura de consultas: el paso que a tu RAG le falta
Tu usuario no pregunta como está escrito tu corpus; arregla la consulta antes de recuperar.
ragrecuperaciónllm
Razonamiento en inferencia: cuándo conviene que el modelo piense más
Un modelo que responde al instante te da confianza y a veces un error. Pagar por dejarlo pensar cambia el trato, pero no siempre compensa.
llmrazonamientoinferencia
Embeddings Matryoshka: recorta dimensiones sin perder el hilo
Guardas vectores de 3072 dimensiones cuando 256 te bastarían. Así se recorta el coste sin romper la búsqueda.
embeddingsragia
GraphRAG: cuándo el grafo le gana al vector
El RAG por similitud responde bien a lo que vive en un párrafo. Se pierde cuando la respuesta está repartida entre documentos.
raggraphraggrafosllm
FlashAttention: la atención no era lenta por las cuentas, sino por la memoria
La autoatención escala mal, pero no por el número de operaciones. El cuello de botella real es el tráfico contra la memoria de la GPU, y ahí es donde se juega la partida.
llmatencionrendimiento
RAG agéntico: cuando recuperar deja de ser un solo paso
Buscar una vez y rezar aguanta en la demo; en producción el sistema tiene que saber volver a buscar.
ragagentesllm
PagedAttention: gestionar la KV cache como memoria de un sistema operativo
Sirviendo un LLM, la mayoría de tu VRAM se va en la KV cache y reservarla a lo bruto desperdicia más de la mitad. La solución la inventaron los sistemas operativos hace décadas.
llminferenciakv-cache
Prefill y decode: por qué un LLM tiene dos velocidades
El mismo modelo procesa mil tokens de golpe y luego sufre para escupir uno a uno. Entender por qué cambia cómo lo sirves.
llminferenciarendimiento
Atención agrupada: el truco que encoge el KV cache
Por qué los modelos modernos hacen que varias cabezas de atención compartan memoria, y qué ganas tú en latencia cuando entiendes el porqué.
llmatencioninferencia
