f5xc-firecrawl
O plugin f5xc-firecrawl fornece web scraping local auto-hospedado
via o motor open-source firecrawl.
Sem chaves de API, sem assinaturas, sem dependência de nuvem. Todas as
operações são executadas na instância local do firecrawl em localhost:3002
dentro do devcontainer.
Instalação
Seção intitulada “Instalação”/plugin install f5xc-firecrawl@f5-sales-demo-marketplaceComandos
Seção intitulada “Comandos”/scrape
Seção intitulada “/scrape”Realiza o scraping de uma única URL e extrai o conteúdo como markdown.
/scrape https://docs.example.com/getting-started/scrape https://example.com --format markdown,links --wait 2000/batch-scrape
Seção intitulada “/batch-scrape”Realiza o scraping de múltiplas URLs ao mesmo tempo.
/batch-scrape https://example.com https://example.org https://example.netRastreia múltiplas páginas a partir de uma URL inicial.
/crawl https://docs.example.com --limit 20 --depth 2/crawl https://docs.example.com --include /api/* --exclude /blog/*Descobre todas as URLs de um site.
/map https://docs.example.com/map https://docs.example.com --search api --subdomains/search
Seção intitulada “/search”Pesquisa na web e, opcionalmente, realiza o scraping dos resultados.
/search "firecrawl web scraping" --limit 10/search "AI tools 2026" --scrape --time month/extract
Seção intitulada “/extract”Extração de dados estruturados com base em LLM a partir de páginas web.
/extract https://example.com "Extract the main heading and any links"/extract https://example.com/pricing --schema '{"plans": [{"name": "string", "price": "string"}]}'/llmstxt
Seção intitulada “/llmstxt”Gera um arquivo llms.txt para um site.
/llmstxt https://docs.example.comweb-scraper
Seção intitulada “web-scraper”Ativa-se automaticamente quando você solicita o scraping de uma URL, rastreamento de um site, mapeamento de URLs do site, pesquisa na web, extração de dados estruturados, geração de llms.txt, scraping em lote de múltiplas URLs ou conversão de uma página web para markdown. Delega imediatamente para o agente firecrawl-operator.
Agentes
Seção intitulada “Agentes”firecrawl-operator
Seção intitulada “firecrawl-operator”Agente autônomo de web scraping que executa sequências de curl + jq
contra a API local do firecrawl. Suporta 11 protocolos cobrindo todos os
endpoints v1. Agente somente leitura (sem ferramentas de escrita, edição ou agente).
| Protocolo | Endpoint | Tipo |
|---|---|---|
| HEALTH | GET / | Síncrono |
| SCRAPE | POST /v1/scrape | Síncrono |
| BATCH_SCRAPE | POST /v1/batch/scrape | Assíncrono |
| CRAWL | POST /v1/crawl | Assíncrono |
| CRAWL_CANCEL | DELETE /v1/crawl/:id | Síncrono |
| CRAWL_ACTIVE | GET /v1/crawl/active | Síncrono |
| CRAWL_ERRORS | GET /v1/crawl/:id/errors | Síncrono |
| MAP | POST /v1/map | Síncrono |
| SEARCH | POST /v1/search | Síncrono |
| EXTRACT | POST /v1/extract | Assíncrono |
| LLMSTXT | POST /v1/llmstxt | Assíncrono |
Infraestrutura
Seção intitulada “Infraestrutura”O plugin requer a stack do firecrawl em execução no devcontainer:
| Componente | Porta | Finalidade |
|---|---|---|
| Firecrawl API | 3002 | Todos os endpoints de scrape/crawl/map/search/extract |
| Playwright | 3000 | Motor de renderização JavaScript |
| Redis | 6379 | Backend da fila de jobs |
| PostgreSQL | socket | Persistência de jobs de crawl/batch |
| Proxy LiteLLM | OPENAI_BASE_URL | Backend LLM para extract (opcional) |
A stack inicia automaticamente quando ENABLE_FIRECRAWL=true (o
padrão). Um hook SessionStart verifica se a API está acessível e
emite um aviso caso o serviço esteja indisponível.
Diferenças em relação ao Firecrawl na Nuvem
Seção intitulada “Diferenças em relação ao Firecrawl na Nuvem”Este plugin utiliza a versão open-source auto-hospedada:
- Nenhuma autenticação ou chave de API necessária para scraping
- Sem limites de crédito ou limitação de taxa
- Utiliza endpoints da API v1 (não v2)
- Sessões de navegador e pesquisa aprofundada não estão disponíveis
- O extract utiliza seu próprio proxy LLM em vez de modelos hospedados
- Executa inteiramente dentro da rede local do container