Trình đếm token

Token Counter đếm chính xác số token cho văn bản của bạn bằng cách sử dụng cùng phương thức token hóa với các LLM lớn. Cần thiết để ước tính chi phí API, quản lý cửa sổ ngữ cảnh và tối ưu hóa độ dài prompt.

Chọn mô hình mã hóa phù hợp với LLM mục tiêu của bạn: GPT-2 Legacy cho các mô hình cũ, GPT-3 DaVinci cho GPT-3, GPT-4 cho các mô hình GPT-4, hoặc GPT-4o cho các mô hình OpenAI mới nhất.

Token là các đoạn văn bản được LLM xử lý. Không giống như từ hoặc ký tự, token có độ dài khác nhau. Các từ phổ biến là token đơn, trong khi các từ dài hoặc hiếm có thể gồm nhiều token.

Công cụ hiển thị tổng số token, số ký tự, số từ và số dòng. Hãy sử dụng những thông tin này để tối ưu prompt của bạn theo giới hạn mô hình và hiệu quả chi phí.

Số đếm token giúp ước tính chi phí API (xem Máy tính phí LLM) và đảm bảo prompt nằm trong cửa sổ ngữ cảnh của mô hình. Việc biết số token là rất quan trọng cho phát triển AI.