Context window: por qué tu prompt falla con textos largos

Cuando intentas que un LLM (Large Language Model) procese un texto largo —un informe, una transcripción, un historial de chat— y el resultado es irrelevante o incompleto, lo más probable es que estés chocando con la context window. Este es el límite de información que el modelo puede “recordar” y procesar en una única interacción.

No es que la IA sea tonta o que tu prompt sea malo. Es una limitación técnica inherente a cómo funcionan estos modelos. Si el texto excede esa ventana, el modelo simplemente lo ignora, o peor, se confunde.

La ventana de contexto y los tokens: el límite de procesamiento

Imagina esta ventana de contexto como el cuaderno de notas de un asistente: tiene un número finito de páginas. Cada palabra, cada signo de puntuación que le das al LLM ocupa espacio en ese cuaderno. Este espacio se mide en tokens. Un token es una unidad de texto que el modelo procesa, y no siempre es una palabra completa — puede ser una sílaba, una palabra o un espacio.

Cuando tu prompt, junto con el texto que quieres que analice, supera el número máximo de tokens de esta ventana, el modelo solo ve una parte. Lo que queda fuera, simplemente no existe para él.

Por qué los LLM tienen este límite

La razón principal es el coste computacional. Procesar más tokens requiere más memoria y más capacidad de cálculo. Los modelos más grandes y con context windows más amplias son significativamente más caros de entrenar y de ejecutar.

La diferencia entre un modelo con 4.000 tokens y uno con 100.000 tokens no es solo una cuestión de capacidad, sino de eficiencia y coste. Mi regla es que siempre busco el equilibrio entre lo que necesito procesar y lo que estoy dispuesto a pagar o a optimizar.

Estrategias para trabajar con textos largos

Si tienes que procesar documentos extensos, no puedes simplemente pegar el texto entero en un prompt. Hay varias técnicas para evitar que la context window se convierta en un cuello de botella.

La más básica es la división por fragmentos (chunking). Consiste en partir el texto en trozos más pequeños, cada uno dentro del límite de tokens, y procesarlos de forma secuencial o paralela. Luego, puedes resumir los resultados de cada fragmento y pasar esos resúmenes a un paso final de la IA.

Otra estrategia, más avanzada, es el Retrieval Augmented Generation (RAG). En lugar de pasar todo el texto al LLM, creas un índice de tus documentos usando embeddings. Cuando recibes una consulta, buscas en ese índice los fragmentos más relevantes y solo le pasas esos fragmentos y la consulta al LLM. Esto reduce drásticamente la cantidad de texto que el modelo debe procesar. He montado sistemas de atención al cliente con asistentes de documentación usando embeddings para clientes, y la mejora en relevancia y coste es brutal.

El tradeoff: lo que ganas y lo que complicas

Implementar estas estrategias tiene sus implicaciones.

Lo que ganas:

• Precisión: El LLM recibe solo la información relevante, evitando distracciones y errores.
• Coste: Usas menos tokens por llamada al LLM, lo que se traduce en un menor gasto en APIs.
• Escalabilidad: Puedes trabajar con volúmenes de datos mucho mayores sin saturar el modelo.

Lo que complicas:

• Complejidad de implementación: Necesitas lógica adicional para el chunking, la gestión de embeddings o la orquestación de llamadas secuenciales.
• Latencia: Procesar un documento por fragmentos o buscar en un índice de embeddings puede introducir un retardo en la respuesta final.
• Mantenimiento: Los flujos se vuelven más elaborados y requieren más atención si las fuentes de datos o los requisitos cambian.

La diferencia entre un prompt directo y una solución robusta para textos largos no es solo el conocimiento de la context window. Es entender que la IA es una herramienta que necesita un flujo de trabajo adaptado a sus características.

Si estás evaluando cuándo estas soluciones tienen sentido, tengo un artículo sobre RAG en la práctica: cuándo tiene sentido y cuándo es sobreingeniería que te puede dar más contexto. Para entender las implicaciones económicas de estas decisiones, te interesa conocer el coste real de los modelos de lenguaje en proyectos propios.