Kontekstvindu-planlegger

Context Window Planner hjelper deg med å optimalisere prompts for store språkmodeller ved å visualisere token-bruken. Det sikrer at promptene dine får plass innenfor modellens kontekstgrenser, samtidig som plassen som er tilgjengelig for modellens svar maksimeres.

Hver LLM har et maksimalt kontekstvindu (for eksempel 128K for GPT-4, 200K for Claude). Dette inkluderer systemprompten din, samtaleloggen og en buffer for det forventede svaret. Planlegging hjelper deg med å unngå avkortede svar eller bortkastede tokens.

Velg målmodellen din. Skriv inn systemprompten, samtaleloggen og forventet svar-lengde. Visualiseringsdiagrammet viser hvordan kontekstplassen brukes. Juster innholdet slik at det får plass innenfor grensen, samtidig som du reserverer plass til svaret.

Klikk Auto Estimate for å beregne token-antallet til innholdet ditt automatisk. Verktøyet bruker nøyaktig tokenisering per modell. Sjekk bruksinformasjonen for å se det eksakte token-antallet og gjenværende kapasitet.