1.1 KiB
1.1 KiB
layout
| layout |
|---|
| default |
¿Qué es un Token?
Token = Unidad básica de texto que procesa un LLM
No es exactamente una palabra, ni un carácter
Ejemplos de Tokenización
"Hola mundo" → 2 tokens
"LangChain" → 2 tokens (Lang + Chain)
"desarrollador" → 3 tokens
"🚀" → 1-2 tokens
Regla General
1 token ≈ 4 caracteres en inglés
1 token ≈ ¾ de palabra en inglés
100 tokens ≈ 75 palabras