토큰 카운터
무료 온라인 OpenAI 모델의 토큰 수를 계산하여 API 비용 추정 및 프롬프트 최적화, 설치 불필요
토큰 수 계산이란 무엇인가요?
토큰은 GPT-4 및 GPT-3.5와 같은 AI 모델이 텍스트를 처리하는 데 사용하는 기본 단위입니다. 하나의 토큰은 영어에서 대략 4자 또는 약 3/4단어에 해당합니다. 모델마다 다른 토크나이저를 사용합니다. 예를 들어, GPT-4o는 o200k_base 인코딩을 사용하고 GPT-4는 cl100k_base를 사용합니다. 프롬프트의 토큰 수를 알면 모델 컨텍스트 제한 내에서 유지하고 API 비용을 추정하는 데 도움이 됩니다.
토큰 카운터 사용법
1. 대상 모델에 맞는 인코딩을 선택합니다(예: GPT-4의 경우 cl100k_base). 2. 입력 영역에 프롬프트 텍스트를 입력하거나 붙여넣습니다. 3. 입력하는 동안 토큰 수가 실시간으로 업데이트됩니다. 4. 도구는 참조용으로 문자 수, 단어 수 및 줄 수도 표시합니다.
▶어떤 인코딩을 사용해야 하나요?
GPT-4o 및 GPT-4o-mini에는 o200k_base를 사용합니다. GPT-4, GPT-4-turbo 및 GPT-3.5-turbo에는 cl100k_base를 사용합니다. 구형 Davinci 모델에는 p50k_base를 사용합니다. GPT-2 및 레거시 모델에는 r50k_base를 사용합니다.
▶토큰 수의 정확도는 어느 정도인가요?
이 도구는 OpenAI API와 동일한 BPE(바이트 페어 인코딩) 토크나이저를 사용하므로 정확합니다. 단, 실제 API 사용에는 프롬프트 텍스트의 일부가 아닌 메시지 형식(역할 라벨, 구분 기호 등)을 위한 몇 개의 추가 토큰이 포함될 수 있습니다.
▶이 도구가 내 텍스트를 서버로 전송하나요?
아니요. 모든 토큰화는 토크나이저의 JavaScript 구현을 사용하여 브라우저에서 완전히 수행됩니다. 텍스트가 기기를 떠나지 않습니다.
▶Claude 또는 다른 모델의 토큰을 계산할 수 있나요?
이 도구는 현재 OpenAI 모델 토크나이저만 지원합니다. 다른 모델(Claude, Gemini, Llama)은 다른 토크나이저를 사용합니다. 해당하는 경우 각 공급자의 문서나 토큰 계산 도구를 확인하세요.
이 도구가 도움이 되었다면, 개발자에게 커피 한 잔을 사주세요.
커피 사주기