Что такое Токен (Token)

Токен — минимальная единица текста, с которой работает языковая модель. Это может быть слово, часть слова, знак препинания или специальный символ. В среднем один токен соответствует 3-4 символам для английского текста и 1-2 символам для русского. Количество токенов определяет стоимость запроса к API и ограничение контекстного окна. Токенизация — процесс разбиения текста на токены — выполняется специальными алгоритмами (BPE, SentencePiece, WordPiece).