Konuşma Simülatörü

Çok turlu bir LLM sohbetinde belirteç sayısının ve maliyetin nasıl arttığını tahmin eden bir planlama aracıdır. Sekiz yerleşik modelden birini seçer, isteğe bağlı olarak bir sistem istemi eklersiniz ve ardından kullanıcı ve asistan mesajlarını tek tek eklersiniz; araç birikimli giriş/çıkış belirteç sayılarını, kalan bağlam penceresini, toplam tahmini maliyeti ve renk kodlu bir bağlam kullanım çubuğunu gösterir.

1. Seç açılır listesinden bir model seçin (her seçenek bağlam penceresi boyutunu K cinsinden gösterir). 2. İsteğe bağlı olarak bir Sistem İstemi yazın. 3. İleti satırları eklemek için Kullanıcı Ekle veya Asistan Ekle'ye tıklayın; her Metin Alanına içerik yazın. 4. Özet kartının giriş belirteçlerini, çıkış belirteçlerini, kalan belirteçleri ve tahmini maliyeti ve ayrıca kullanım çubuğunu (%50'nin altında yeşil, %50-80 turuncu, %80'in üzerinde kırmızı) güncellemesini izleyin.

Belirteçler, ileti başına ceil(karakterler / 3.5) olarak yaklaşıklandırılır. Sistem istemi yalnızca girdiye sayılır. Her kullanıcı ileti birikimli giriş belirteçlerine, her asistan ileti birikimli çıkış belirteçlerine eklenir. Tüm sohbetin maliyeti (cumulativeInput / 1_000_000 * model.inputPrice) + (cumulativeOutput / 1_000_000 * model.outputPrice) olarak hesaplanır; böylece eklenen her tur, önceki tüm geçmişi girdi olarak yeniden faturalandırır — sohbet maliyetlerinin neden doğrusal üstü arttığını gösterir.