f5xc-firecrawl
Le plugin f5xc-firecrawl fournit un scraping web auto-hébergé en local
via le moteur open-source firecrawl.
Aucune clé API, aucun abonnement, aucune dépendance au cloud. Toutes
les opérations s’exécutent sur l’instance firecrawl locale sur localhost:3002
à l’intérieur du conteneur de développement.
Installation
Section intitulée « Installation »/plugin install f5xc-firecrawl@f5-sales-demo-marketplaceCommandes
Section intitulée « Commandes »Scraper une URL unique et extraire le contenu en markdown.
/scrape https://docs.example.com/getting-started/scrape https://example.com --format markdown,links --wait 2000/batch-scrape
Section intitulée « /batch-scrape »Scraper plusieurs URL simultanément.
/batch-scrape https://example.com https://example.org https://example.netExplorer plusieurs pages à partir d’une URL de départ.
/crawl https://docs.example.com --limit 20 --depth 2/crawl https://docs.example.com --include /api/* --exclude /blog/*Découvrir toutes les URL d’un site web.
/map https://docs.example.com/map https://docs.example.com --search api --subdomainsRechercher sur le web et éventuellement scraper les résultats.
/search "firecrawl web scraping" --limit 10/search "AI tools 2026" --scrape --time month/extract
Section intitulée « /extract »Extraction de données structurées alimentée par un LLM à partir de pages web.
/extract https://example.com "Extract the main heading and any links"/extract https://example.com/pricing --schema '{"plans": [{"name": "string", "price": "string"}]}'/llmstxt
Section intitulée « /llmstxt »Générer un fichier llms.txt pour un site.
/llmstxt https://docs.example.comCompétences
Section intitulée « Compétences »web-scraper
Section intitulée « web-scraper »S’active automatiquement lorsque vous demandez à scraper une URL, explorer un site web, cartographier les URL d’un site, effectuer une recherche sur le web, extraire des données structurées, générer un llms.txt, scraper plusieurs URL en lot, ou convertir une page web en markdown. Délègue immédiatement à l’agent firecrawl-operator.
firecrawl-operator
Section intitulée « firecrawl-operator »Agent de scraping web autonome qui exécute des séquences curl + jq
contre l’API firecrawl locale. Prend en charge 11 protocoles couvrant tous
les points de terminaison v1. Agent en lecture seule (sans outils d’écriture, d’édition ou d’agent).
| Protocole | Point de terminaison | Type |
|---|---|---|
| HEALTH | GET / | Sync |
| SCRAPE | POST /v1/scrape | Sync |
| BATCH_SCRAPE | POST /v1/batch/scrape | Async |
| CRAWL | POST /v1/crawl | Async |
| CRAWL_CANCEL | DELETE /v1/crawl/:id | Sync |
| CRAWL_ACTIVE | GET /v1/crawl/active | Sync |
| CRAWL_ERRORS | GET /v1/crawl/:id/errors | Sync |
| MAP | POST /v1/map | Sync |
| SEARCH | POST /v1/search | Sync |
| EXTRACT | POST /v1/extract | Async |
| LLMSTXT | POST /v1/llmstxt | Async |
Infrastructure
Section intitulée « Infrastructure »Le plugin nécessite que la pile firecrawl soit en cours d’exécution dans le conteneur de développement :
| Composant | Port | Rôle |
|---|---|---|
| API Firecrawl | 3002 | Tous les points de terminaison scrape/crawl/map/search/extract |
| Playwright | 3000 | Moteur de rendu JavaScript |
| Redis | 6379 | Backend de file d’attente des tâches |
| PostgreSQL | socket | Persistance des tâches crawl/batch |
| Proxy LiteLLM | OPENAI_BASE_URL | Backend LLM pour extract (optionnel) |
La pile démarre automatiquement lorsque ENABLE_FIRECRAWL=true (valeur
par défaut). Un hook SessionStart vérifie que l’API est accessible et
avertit si le service est indisponible.
Différences avec Firecrawl Cloud
Section intitulée « Différences avec Firecrawl Cloud »Ce plugin utilise la version open-source auto-hébergée :
- Aucune authentification ni clé API requise pour le scraping
- Aucune limite de crédits ni restriction de débit
- Utilise les points de terminaison API v1 (pas v2)
- Les sessions navigateur et la recherche approfondie ne sont pas disponibles
- Extract utilise votre propre proxy LLM au lieu de modèles hébergés
- S’exécute entièrement au sein du réseau de conteneurs local