Keskustelusimulaattori

Suunnittelutyökalu, joka arvioi kuinka token-määrä ja kustannukset kasvavat useamman kierroksen LLM-keskustelussa. Valitset yhden kahdeksasta mallista, voit lisätä järjestelmäkehotteen, sitten lisäät käyttäjä- ja avustajaviestit yksi kerrallaan; työkalu näyttää kumulatiiviset syöte/tuloste token-määrät, jäljellä olevan konteksti-ikkunan, kokonaiskustannusarvion ja värikoodatun kontekstinkäyttöpalkin.

1. Valitse malli Select-valikosta (jokainen vaihtoehto näyttää konteksti-ikkunan koon K:na). 2. Kirjoita valinnaisesti järjestelmäkehote. 3. Napsauta Add User tai Add Assistant lisätäksesi viestirivejä; kirjoita sisältö jokaiseen Textareaan. 4. Katso Summary-kortin päivittävän syötetokenit, tulostetokenit, jäljellä olevat tokenit ja arvioidun kustannuksen, sekä käyttöpalkin (vihreä alle 50%, keltainen 50-80%, punainen yli 80%).

Tokenit arvioidaan kaavalla ceil(merkit / 3.5) per viesti. Järjestelmäkehote lasketaan vain syötteeseen. Jokainen käyttäjäviesti lisää kumulatiivisiin syötetokeneihin ja jokainen avustajaviesti kumulatiivisiin tulostetokeneihin. Koko keskustelun kustannus lasketaan kaavalla (cumulativeInput / 1_000_000 * model.inputPrice) + (cumulativeOutput / 1_000_000 * model.outputPrice), joten jokainen lisätty kierros laskuttaa koko aiemman historian syötteenä — havainnollistaen miksi keskustelukustannukset kasvavat supralineaarisesti.