上下文窗口规划器
免费在线上下文窗口规划器,无需安装。在LLM上下文窗口中可视化提示使用情况
关于上下文窗口规划器
上下文窗口规划器通过可视化 Token 使用情况来帮助您优化大型语言模型的提示。它确保您的提示符合模型的上下文限制,同时最大化模型回应的可用空间。
了解上下文窗口
每个 LLM 都有最大上下文窗口(例如 GPT-4 为 128K,Claude 为 200K)。这包括您的系统提示、对话历史,以及预期输出的缓冲区。合理规划有助于避免回应被截断或浪费 Token。
使用方法
选择您的目标模型。输入系统提示、对话历史和预期输出长度。可视化图表会显示上下文空间的使用情况。调整内容以在限制范围内,同时为回应预留空间。
Token 估算
点击「自动估算」即可自动计算您内容的 Token 数量。该工具使用每个模型的准确分词方式。查看使用信息即可了解精确的 Token 数量和剩余容量。
▶如果超出上下文限制会怎样?
工具会显示「超出限制」警告。超出上下文限制会导致回应被截断或出现错误。请减少内容长度或选择具有更大上下文窗口的模型。
▶Token 估算有多准确?
自动估算使用针对特定模型的分词技术,精度很高(通常与实际 Token 数量误差在 5% 以内)。为精确规划,建议预留 10% 的缓冲区。
▶我应该始终使用最大的上下文窗口吗?
不一定。更大的上下文成本更高且处理更慢。请使用满足您需求的最小上下文。可视化图表有助于优化空间使用。
▶输入 Token 和输出 Token 有什么区别?
输入 Token 包括您的系统提示和对话历史。输出 Token 为模型的回应预留。两者都计入总上下文窗口。
▶我可以保存我的上下文规划吗?
该工具在您的浏览器中运行。请复制您的内容以本地保存。未来版本可能包含上下文规划的保存/导出功能。
▶支持哪些模型?
主要模型包括 GPT-4、GPT-4 Turbo、Claude 3 Opus/Sonnet、Gemini Pro 和 Llama 2,以及它们各自的上下文窗口。
如果这个工具对你有帮助的话,请考虑请我喝杯咖啡。
请给我买杯咖啡吧。