トークンカウンター
無料オンラインOpenAI モデルのトークン数をカウントして API コストを見積もり、プロンプトを最適化、インストール不要
トークンカウンティングとは？
トークンは、GPT-4やGPT-3.5などのAIモデルがテキストを処理するために使用する基本単位です。1つのトークンは、英語では約4文字、または単語の約3/4に相当します。モデルによって異なるトークナイザーを使用します — 例えば、GPT-4oはo200k_baseエンコーディングを使用し、GPT-4はcl100k_baseを使用します。プロンプトのトークン数を把握することで、モデルのコンテキスト制限内に収め、APIコストを見積もることができます。
トークンカウンターの使い方
1. ターゲットモデルに対応するエンコーディングを選択します（例：GPT-4の場合はcl100k_base）。 2. プロンプトテキストを入力エリアに入力または貼り付けます。 3. 入力するとトークン数がリアルタイムで更新されます。 4. ツールは参考として文字数、単語数、行数も表示します。
▶どのエンコーディングを使用すべきですか？
GPT-4oとGPT-4o-miniにはo200k_baseを使用します。GPT-4、GPT-4-turbo、GPT-3.5-turboにはcl100k_baseを使用します。古いDavinciモデルにはp50k_baseを使用します。GPT-2とレガシーモデルにはr50k_baseを使用します。
▶トークン数の精度はどの程度ですか？
このツールはOpenAI APIと同じBPE（バイトペアエンコーディング）トークナイザーを使用するため、カウントは正確です。ただし、実際のAPI使用量には、プロンプトテキストの一部ではないメッセージフォーマット（ロールラベル、区切り文字など）のために、いくつかの追加トークンが含まれる場合があります。
▶このツールはテキストをサーバーに送信しますか？
いいえ。すべてのトークン化は、トークナイザーのJavaScript実装を使用してブラウザ内で完全に行われます。テキストはデバイスから送信されることはありません。
▶Claudeや他のモデルのトークンをカウントできますか？
このツールは現在、OpenAIモデルのトークナイザーのみをサポートしています。他のモデル（Claude、Gemini、Llama）は異なるトークナイザーを使用しています。これらについては、それぞれのプロバイダーのドキュメントまたはトークンカウントツールを確認してください。
このツールが役に立ったら、作者にコーヒーをおごってください。
コーヒーをおごる