Pembilang Token

Pencacah Token mengira bilangan token dalam teks anda dengan tepat menggunakan tokenisasi yang sama seperti LLM utama. Ia penting untuk menganggarkan kos API, mengurus tetingkap konteks, dan mengoptimumkan panjang prompt.

Pilih model pengekodan yang sepadan dengan LLM sasaran anda: GPT-2 Legacy untuk model yang lebih lama, GPT-3 DaVinci untuk GPT-3, GPT-4 untuk model GPT-4, dan GPT-4o untuk model OpenAI yang paling baharu.

Token ialah cebisan teks yang diproses oleh LLM. Tidak seperti perkataan atau aksara, token berbeza-beza panjangnya. Perkataan biasa biasanya satu token, manakala perkataan panjang atau jarang mungkin terdiri daripada berbilang token.

Alat ini menunjukkan jumlah kiraan token, kiraan aksara, kiraan perkataan, dan kiraan baris. Gunakan angka-angka ini untuk mengoptimumkan prompt anda agar sesuai dengan had model dan meningkatkan kecekapan kos.

Kiraan token membantu anda menganggarkan kos API (lihat Kalkulator Kos LLM) dan memastikan prompt anda sesuai dalam tetingkap konteks model. Memahami kiraan token adalah penting untuk pembangunan AI.