Jeton
Aussi appelé : token
Unité de texte que manipule un modèle de langage : un mot court, un morceau de mot ou un signe de ponctuation. On mesure en jetons la longueur d'un texte, la fenêtre de contexte et le prix d'usage.
En clair
Avant de traiter un texte, le modèle le découpe en jetons. Un mot courant peut tenir en un seul jeton, un mot long ou rare en plusieurs. Le nombre de jetons d'un même texte varie donc selon la langue et selon le modèle.
Les jetons comptent pour deux raisons pratiques : ils limitent la quantité de texte qu'un modèle peut traiter d'un coup, et les services d'IA facturés à l'usage, par API, comptent en général les jetons envoyés et reçus.
Un exemple dans une petite entreprise
Un éditeur de logiciel qui intègre un modèle d'IA à son outil de support estime son budget en jetons : longueur moyenne des questions, des réponses et des documents joints, multipliée par le nombre de demandes par mois.