649 B
649 B
layout
| layout |
|---|
| default |
Reranking self-hosted
BAAI/bge-reranker-v2-m3
- Modelo open source (Apache 2.0), 0.6B params, multilingüe
- Funciona en CPU — no necesitas GPU
- Primera descarga ~600MB, luego se cachea
Runtimes para servir el modelo
| Runtime | Descripción |
|---|---|
| Infinity | Runtime ligero y sencillo de configurar. Soporta embeddings y reranking. Ideal para empezar |
| TEI (Text Embeddings Inference) | Runtime de HuggingFace, más optimizado. Tiene imágenes Docker separadas para CPU y GPU |
Ambos se despliegan con Docker y exponen una API REST compatible