Embeddings Matryoshka: recorta dimensiones sin perder el hilo
Guardas vectores de 3072 dimensiones cuando 256 te bastarían. Así se recorta el coste sin romper la búsqueda.
Pensamientos, tutoriales y experiencias sobre desarrollo web, arquitectura e ingeniería.
Guardas vectores de 3072 dimensiones cuando 256 te bastarían. Así se recorta el coste sin romper la búsqueda.
La mitad de tus peticiones no necesitan el modelo caro. El truco está en saber cuáles antes de gastar.
El mismo contexto, viajando una y otra vez. Ahí está tu factura, y ahí está la palanca.
El modelo tarda lo mismo, pero la espera se siente la mitad. Ese es todo el truco.
La respuesta honesta casi nunca es 'ya'. Aquí está la línea que sí la cruza.
Sin un conjunto de evaluación, cada cambio de prompt es una apuesta a ciegas.
Un prompt que funciona en tu pantalla no es un sistema. Es un accidente que aún no se ha roto.
Lo que me llevé del harness de Anthropic y cómo lo aterricé en mi propio pipeline.
Si entiendes esto, entiendes por qué tu buscador semántico acierta o falla.
El problema casi nunca es el modelo. Es lo que le das de comer.