Счётчик токенов

Токены — это базовые единицы, которые модели ИИ, такие как GPT-4 и GPT-3.5, используют для обработки текста. Один токен примерно соответствует 4 символам в английском языке или около ¾ слова. Различные модели используют разные токенизаторы — например, GPT-4o использует кодировку o200k_base, а GPT-4 — cl100k_base. Знание количества токенов в ваших промптах помогает оставаться в пределах контекстного ограничения модели и оценить стоимость API.

1. Выберите кодировку, соответствующую вашей целевой модели (например, cl100k_base для GPT-4). 2. Введите или вставьте текст вашего промпта в область ввода. 3. Количество токенов обновляется в реальном времени по мере ввода. 4. Инструмент также показывает количество символов, слов и строк для справки.