Czym jest token w modelach AI
Token to najmniejsza jednostka tekstu, jaką przetwarza model językowy. W przybliżeniu jeden token odpowiada kilku znakom, a w języku polskim nieco mniej niż w angielskim, ponieważ nasza odmiana słów jest bogatsza. Modele rozliczają się właśnie za tokeny, osobno za tekst wysyłany i osobno za wygenerowany.
Jak liczymy koszt zapytania
Bierzemy liczbę tokenów wejściowych i wyjściowych, mnożymy każdą przez cenę danego modelu za milion tokenów, a wyniki sumujemy. Koszt miesięczny to pojedyncze zapytanie pomnożone przez liczbę wywołań. Wynik możesz zobaczyć w dolarach lub w złotówkach.
Który model wybrać
- Zadania masowe i proste: modele lekkie, koszt symboliczny.
- Treści wymagające jakości: modele średnie, dobra relacja ceny do efektu.
- Trudne rozumowanie: modele mocne, wyższy koszt uzasadniony wynikiem.
Najczęstsze pytania
Czy szacunek liczby tokenów jest dokładny?
To przybliżenie oparte na liczbie znaków i słów. Każdy model ma własny tokenizer, więc realna liczba może różnić się o kilkanaście procent. Do budżetowania w zupełności wystarcza.
Skąd pochodzą ceny modeli?
To publiczne cenniki dostawców za milion tokenów.