トークンカウンター
無料オンラインOpenAI モデルのトークン数をカウントして API コストを見積もり、プロンプトを最適化、インストール不要
トークンカウンティングとは?
トークンは、GPT-4やGPT-3.5などのAIモデルがテキストを処理するために使用する基本単位です。1つのトークンは、英語では約4文字、または単語の約3/4に相当します。モデルによって異なるトークナイザーを使用します — 例えば、GPT-4oはo200k_baseエンコーディングを使用し、GPT-4はcl100k_baseを使用します。プロンプトのトークン数を把握することで、モデルのコンテキスト制限内に収め、APIコストを見積もることができます。
トークンカウンターの使い方
1. ターゲットモデルに対応するエンコーディングを選択します(例:GPT-4の場合はcl100k_base)。 2. プロンプトテキストを入力エリアに入力または貼り付けます。 3. 入力するとトークン数がリアルタイムで更新されます。 4. ツールは参考として文字数、単語数、行数も表示します。
▶どのエンコーディングを使用すべきですか?
GPT-4oとGPT-4o-miniにはo200k_baseを使用します。GPT-4、GPT-4-turbo、GPT-3.5-turboにはcl100k_baseを使用します。古いDavinciモデルにはp50k_baseを使用します。GPT-2とレガシーモデルにはr50k_baseを使用します。
▶トークン数の精度はどの程度ですか?
このツールはOpenAI APIと同じBPE(バイトペアエンコーディング)トークナイザーを使用するため、カウントは正確です。ただし、実際のAPI使用量には、プロンプトテキストの一部ではないメッセージフォーマット(ロールラベル、区切り文字など)のために、いくつかの追加トークンが含まれる場合があります。
▶このツールはテキストをサーバーに送信しますか?
いいえ。すべてのトークン化は、トークナイザーのJavaScript実装を使用してブラウザ内で完全に行われます。テキストはデバイスから送信されることはありません。
▶Claudeや他のモデルのトークンをカウントできますか?
このツールは現在、OpenAIモデルのトークナイザーのみをサポートしています。他のモデル(Claude、Gemini、Llama)は異なるトークナイザーを使用しています。これらについては、それぞれのプロバイダーのドキュメントまたはトークンカウントツールを確認してください。
このツールが役に立ったら、作者にコーヒーをおごってください。
コーヒーをおごる