25 lines
649 B
Markdown
25 lines
649 B
Markdown
---
|
|
layout: default
|
|
---
|
|
|
|
# Reranking self-hosted
|
|
|
|
<v-clicks>
|
|
|
|
### BAAI/bge-reranker-v2-m3
|
|
|
|
- Modelo open source (Apache 2.0), 0.6B params, multilingüe
|
|
- Funciona en **CPU** — no necesitas GPU
|
|
- Primera descarga ~600MB, luego se cachea
|
|
|
|
### Runtimes para servir el modelo
|
|
|
|
| Runtime | Descripción |
|
|
|---------|-------------|
|
|
| **Infinity** | Runtime ligero y sencillo de configurar. Soporta embeddings y reranking. Ideal para empezar |
|
|
| **TEI** (Text Embeddings Inference) | Runtime de HuggingFace, más optimizado. Tiene imágenes Docker separadas para CPU y GPU |
|
|
|
|
Ambos se despliegan con Docker y exponen una API REST compatible
|
|
|
|
</v-clicks>
|