Texto a SQL en producción: por qué la demo funciona y el piloto no
Los modelos ya escriben SQL válido. El problema es que una consulta puede ejecutarse sin error y devolver el número equivocado con toda la confianza del mundo.
llmdatosarquitectura
notas de campo
Blog
Pensamientos, tutoriales y experiencias sobre desarrollo web, arquitectura e ingeniería.
Destilación de modelos: cómo un modelo pequeño aprende del grande
El modelo grande acierta pero te arruina; el pequeño es barato pero falla. La destilación es el puente, y tiene más letra pequeña de la que cuentan.
llmdestilacióncostes
Cómo se testea el código que llama a un LLM
No puedes comparar la salida con una cadena esperada. Casi todo lo que rodea a esa salida sí es determinista, y ahí es donde viven tus bugs.
testingllmpython
Observabilidad de un LLM: tus logs no ven el fallo
Un 500 se detecta solo; una respuesta mediocre devuelve 200 OK y nadie se entera. La traza es la unidad que sirve.
llmobservabilidadproduccion
DPO frente a RLHF: alinear un modelo sin aprendizaje por refuerzo
El aprendizaje por refuerzo nunca fue imprescindible para alinear un LLM; DPO lo sustituye por una pérdida de clasificación y dos modelos en memoria.
llmfine-tuningalineamiento
El patrón ReAct: razonar y actuar en el mismo bucle
Un agente que solo razona alucina con estilo; uno que solo actúa se pierde. ReAct los junta en el mismo turno, y por eso funciona.
agentesllmrazonamientoarquitectura
Codificación posicional rotatoria (RoPE), explicada
Por qué casi todos los LLM modernos rotan sus vectores en vez de sumar posiciones.
llmtransformersatención
Reescritura de consultas: el paso que a tu RAG le falta
Tu usuario no pregunta como está escrito tu corpus; arregla la consulta antes de recuperar.
ragrecuperaciónllm
Razonamiento en inferencia: cuándo conviene que el modelo piense más
Un modelo que responde al instante te da confianza y a veces un error. Pagar por dejarlo pensar cambia el trato, pero no siempre compensa.
llmrazonamientoinferencia
GraphRAG: cuándo el grafo le gana al vector
El RAG por similitud responde bien a lo que vive en un párrafo. Se pierde cuando la respuesta está repartida entre documentos.
raggraphraggrafosllm
FlashAttention: la atención no era lenta por las cuentas, sino por la memoria
La autoatención escala mal, pero no por el número de operaciones. El cuello de botella real es el tráfico contra la memoria de la GPU, y ahí es donde se juega la partida.
llmatencionrendimiento
RAG agéntico: cuando recuperar deja de ser un solo paso
Buscar una vez y rezar aguanta en la demo; en producción el sistema tiene que saber volver a buscar.
ragagentesllm
