curso-langchain/slides/pages/rag/16e.md

layout

layout
default

CheerioWebBaseLoader

Carga páginas web como documentos (sin ejecutar JavaScript)

Instalación

npm install @langchain/community cheerio

Uso

import "cheerio";
import { CheerioWebBaseLoader } from
  "@langchain/community/document_loaders/web/cheerio";

const loader = new CheerioWebBaseLoader(
  "https://blog.langchain.dev/what-is-an-agent/",
  { selector: "article" } // selector CSS para filtrar contenido
);
const docs = await loader.load();

console.log(docs[0].pageContent.substring(0, 300));
console.log(docs[0].metadata);
// { source: 'https://blog.langchain.dev/...', title: '...' }

⚠️ Para SPAs o páginas con JS dinámico, usa Playwright o Puppeteer