Token
ia
A menor unidade de texto que um LLM processa — um pedaço de palavra. Modelos leem, geram e são cobrados por tokens, não por palavras.
Um token é o pedaço de texto que o modelo realmente manipula. Nem sempre é uma palavra inteira: “cachorro” pode ser um token, enquanto “inconstitucionalmente” vira vários. Em inglês, a regra de bolso é ~4 caracteres por token; em português costuma ser um pouco mais.
Por que isso importa na prática:
- Custo: APIs de LLM cobram por token (entrada + saída). Prompt enxuto = conta menor.
- Limite: a janela de contexto é medida em tokens — é quanto o modelo “enxerga” de uma vez.