f5xc-firecrawl
Le plugin f5xc-firecrawl fournit une extraction web auto-hébergée en local
via le moteur open-source firecrawl.
Aucune clé API, aucun abonnement, aucune dépendance au cloud. Toutes les
opérations s’exécutent contre l’instance firecrawl locale sur localhost:3002
à l’intérieur du conteneur de développement.
Installation
Section intitulée « Installation »/plugin install f5xc-firecrawl@f5-sales-demo-marketplaceCommandes
Section intitulée « Commandes »Extraire le contenu d’une seule URL au format markdown.
/scrape https://docs.example.com/getting-started/scrape https://example.com --format markdown,links --wait 2000/batch-scrape
Section intitulée « /batch-scrape »Extraire le contenu de plusieurs URLs simultanément.
/batch-scrape https://example.com https://example.org https://example.netExplorer plusieurs pages à partir d’une URL de départ.
/crawl https://docs.example.com --limit 20 --depth 2/crawl https://docs.example.com --include /api/* --exclude /blog/*Découvrir toutes les URLs d’un site web.
/map https://docs.example.com/map https://docs.example.com --search api --subdomainsEffectuer une recherche web et extraire optionnellement les résultats.
/search "firecrawl web scraping" --limit 10/search "AI tools 2026" --scrape --time month/extract
Section intitulée « /extract »Extraction de données structurées à partir de pages web, alimentée par un LLM.
/extract https://example.com "Extract the main heading and any links"/extract https://example.com/pricing --schema '{"plans": [{"name": "string", "price": "string"}]}'/llmstxt
Section intitulée « /llmstxt »Générer un fichier llms.txt pour un site.
/llmstxt https://docs.example.comCompétences
Section intitulée « Compétences »web-scraper
Section intitulée « web-scraper »S’active automatiquement lorsque vous demandez à extraire une URL, explorer un site web, cartographier les URLs d’un site, effectuer une recherche web, extraire des données structurées, générer un fichier llms.txt, extraire plusieurs URLs en lot, ou convertir une page web en markdown. Délègue immédiatement à l’agent firecrawl-operator.
firecrawl-operator
Section intitulée « firecrawl-operator »Agent d’extraction web autonome qui exécute des séquences curl + jq
contre l’API firecrawl locale. Prend en charge 11 protocoles couvrant tous
les points de terminaison v1. Agent en lecture seule (aucun outil d’écriture, d’édition ou d’agent).
| Protocole | Point de terminaison | Type |
|---|---|---|
| HEALTH | GET / | Sync |
| SCRAPE | POST /v1/scrape | Sync |
| BATCH_SCRAPE | POST /v1/batch/scrape | Async |
| CRAWL | POST /v1/crawl | Async |
| CRAWL_CANCEL | DELETE /v1/crawl/:id | Sync |
| CRAWL_ACTIVE | GET /v1/crawl/active | Sync |
| CRAWL_ERRORS | GET /v1/crawl/:id/errors | Sync |
| MAP | POST /v1/map | Sync |
| SEARCH | POST /v1/search | Sync |
| EXTRACT | POST /v1/extract | Async |
| LLMSTXT | POST /v1/llmstxt | Async |
Infrastructure
Section intitulée « Infrastructure »Le plugin nécessite que la pile firecrawl soit en cours d’exécution dans le conteneur de développement :
| Composant | Port | Fonction |
|---|---|---|
| Firecrawl API | 3002 | Tous les points de terminaison scrape/crawl/map/search/extract |
| Playwright | 3000 | Moteur de rendu JavaScript |
| Redis | 6379 | Backend de file d’attente des tâches |
| PostgreSQL | socket | Persistance des tâches crawl/batch |
| LiteLLM proxy | OPENAI_BASE_URL | Backend LLM pour extract (optionnel) |
La pile démarre automatiquement lorsque ENABLE_FIRECRAWL=true (valeur
par défaut). Un hook SessionStart vérifie que l’API est accessible et
avertit si le service est indisponible.
Différences avec Firecrawl Cloud
Section intitulée « Différences avec Firecrawl Cloud »Ce plugin utilise la version open-source auto-hébergée :
- Aucune authentification ni clé API requise pour l’extraction
- Aucune limite de crédits ni limitation du débit
- Utilise les points de terminaison de l’API v1 (pas v2)
- Les sessions de navigateur et la recherche approfondie ne sont pas disponibles
- Extract utilise votre propre proxy LLM au lieu des modèles hébergés
- S’exécute entièrement au sein du réseau du conteneur local