Qu'est-ce qu'un Token et pourquoi les compter en local ?
Les modèles de langage (LLM) comme GPT-4 (OpenAI) ou Claude (Anthropic) ne lisent pas le texte mot par mot, mais par petits fragments appelés tokens. En moyenne dans la langue française, un token correspond à environ 3 ou 4 caractères, mais cela peut varier. Certains mots très courants ne font qu'un seul token, tandis qu'un mot complexe, un terme technique ou un morceau de code peut être divisé en plusieurs tokens.
Lorsque vous utilisez l'API d'OpenAI, la facturation est strictement basée sur ce nombre de tokens. Compter précisément vos tokens avant d'envoyer de très gros documents (contexte) est essentiel pour anticiper et maîtriser vos coûts d'infrastructure. La majorité des compteurs en ligne envoient votre texte à un serveur pour le découper. Notre outil télécharge l'algorithme d'encodage officiel (l'équivalent de tiktoken en Python) pour le faire tourner directement dans la mémoire de votre navigateur internet. Votre prompt, aussi confidentiel soit-il, ne transite donc jamais par un réseau externe.