Licznik tokenów

Tokeny to podstawowe jednostki, których modele AI, takie jak GPT-4 i GPT-3.5, używają do przetwarzania tekstu. Jeden token odpowiada w przybliżeniu 4 znakom w języku angielskim lub około ¾ słowa. Różne modele używają różnych tokenizatorów — na przykład GPT-4o używa kodowania o200k_base, podczas gdy GPT-4 używa cl100k_base. Znajomość liczby tokenów w Twoich promptach pomaga pozostać w limitach kontekstu modelu i oszacować koszty API.

1. Wybierz kodowanie pasujące do Twojego modelu docelowego (np. cl100k_base dla GPT-4). 2. Wpisz lub wklej tekst promptu w obszarze wprowadzania. 3. Liczba tokenów aktualizuje się w czasie rzeczywistym podczas pisania. 4. Narzędzie pokazuje również liczbę znaków, słów i linii dla informacji.