Context window-planlægger

Context Window Planner hjælper dig med at optimere prompts for store språkmodeller ved at visualisere tokenbrug. Det sikrer, at dine prompts passer inden for modellens kontekstgrænser, samtidig med at maksimere den plads, der er tilgængelig for modellens svar.

Hver LLM har en maksimal kontekstvindu (f.eks. 128K for GPT-4, 200K for Claude). Dette omfatter din systemprompt, konversationshistorik og en buffer for den forventede output. Planlægning hjælper dig til at unikke afkortede svar eller sløssede tokens.

Vælg din målmodel. Indsæt systemopfordringen, samtalenshistorikken og den forventede uddatalengden. Visualiseringen viser, hvordan kontekstrummet bruges. Juster din indhold til at passere grænsen, samtidig med at reservere plads for svaret.

Klik på Auto Estimate for at automatisk beregne antallet tokener i din indhold. Verktøjet bruger præcise tokeniseringen for hver modell. Kig på brugsinformationen for at se det exakte antal tokener og den tilbageværende kapacitet.