45 lines
1.1 KiB
Markdown
45 lines
1.1 KiB
Markdown
---
|
|
layout: default
|
|
---
|
|
|
|
# ¿Qué es un Token?
|
|
|
|
<div class="mt-10 text-sm">
|
|
|
|
<v-click>
|
|
|
|
<div class="mb-8">
|
|
|
|
**Token** = Unidad básica de texto que procesa un LLM
|
|
|
|
No es exactamente una palabra, ni un carácter
|
|
|
|
</div>
|
|
|
|
</v-click>
|
|
|
|
<v-click>
|
|
|
|
<div class="grid grid-cols-2 gap-8 text-xs">
|
|
|
|
<div class="border-l-4 border-blue-500 pl-4 bg-blue-50 dark:bg-blue-900/20 p-4">
|
|
<h3 class="text-sm font-bold mb-3">Ejemplos de Tokenización</h3>
|
|
<p class="mb-2"><code>"Hola mundo"</code> → <strong>2 tokens</strong></p>
|
|
<p class="mb-2"><code>"LangChain"</code> → <strong>2 tokens</strong> (Lang + Chain)</p>
|
|
<p class="mb-2"><code>"desarrollador"</code> → <strong>3 tokens</strong></p>
|
|
<p class="mb-2"><code>"🚀"</code> → <strong>1-2 tokens</strong></p>
|
|
</div>
|
|
|
|
<div class="border-l-4 border-orange-500 pl-4 bg-orange-50 dark:bg-orange-900/20 p-4">
|
|
<h3 class="text-sm font-bold mb-3">Regla General</h3>
|
|
<p class="mb-2">1 token ≈ <strong>4 caracteres</strong> en inglés</p>
|
|
<p class="mb-2">1 token ≈ <strong>¾ de palabra</strong> en inglés</p>
|
|
<p class="mb-2">100 tokens ≈ <strong>75 palabras</strong></p>
|
|
</div>
|
|
|
|
</div>
|
|
|
|
</v-click>
|
|
|
|
</div>
|