Ventana de contexto: por qué llenarla no te hace más listo
Meter más tokens en el prompt parece gratis y suele salir caro: el modelo se distrae justo donde no mira.
Pensamientos, tutoriales y experiencias sobre desarrollo web, arquitectura e ingeniería.
Meter más tokens en el prompt parece gratis y suele salir caro: el modelo se distrae justo donde no mira.
La búsqueda semántica entiende el sentido pero se pierde con un código de error o un nombre propio. Notas de campo sobre juntar BM25 y vectores sin montar un frankenstein.
No compiten por el mismo trabajo. Uno cambia lo que el modelo sabe; el otro, cómo se comporta. Confundirlos sale caro.
No es un bug que se parchea con más instrucciones. Es la consecuencia de mezclar datos e instrucciones en el mismo canal.
El vector te trae diez candidatos, pero el orden en que llegan casi nunca es el bueno. Notas de campo sobre añadir un reranker sin arruinar la latencia.
Casi todos los fallos de recuperación no son culpa del embedding, sino de cómo troceaste el texto. Notas de campo para partir documentos sin romper el sentido.
El mismo contexto, viajando una y otra vez. Ahí está tu factura, y ahí está la palanca.
La respuesta honesta casi nunca es 'ya'. Aquí está la línea que sí la cruza.
El problema casi nunca es el modelo. Es lo que le das de comer.