f5xc-firecrawl
Das f5xc-firecrawl-Plugin bietet lokales selbst gehostetes Web-Scraping
über die Open-Source-Engine firecrawl.
Keine API-Schlüssel, keine Abonnements, keine Cloud-Abhängigkeit. Alle
Operationen werden gegen die lokale Firecrawl-Instanz auf localhost:3002
innerhalb des Entwicklungscontainers ausgeführt.
Installation
Abschnitt betitelt „Installation“/plugin install f5xc-firecrawl@f5-sales-demo-marketplaceBefehle
Abschnitt betitelt „Befehle“/scrape
Abschnitt betitelt „/scrape“Eine einzelne URL scrapen und den Inhalt als Markdown extrahieren.
/scrape https://docs.example.com/getting-started/scrape https://example.com --format markdown,links --wait 2000/batch-scrape
Abschnitt betitelt „/batch-scrape“Mehrere URLs gleichzeitig scrapen.
/batch-scrape https://example.com https://example.org https://example.netMehrere Seiten von einer Start-URL aus crawlen.
/crawl https://docs.example.com --limit 20 --depth 2/crawl https://docs.example.com --include /api/* --exclude /blog/*Alle URLs einer Website entdecken.
/map https://docs.example.com/map https://docs.example.com --search api --subdomains/search
Abschnitt betitelt „/search“Das Web durchsuchen und optional Ergebnisse scrapen.
/search "firecrawl web scraping" --limit 10/search "AI tools 2026" --scrape --time month/extract
Abschnitt betitelt „/extract“KI-gestützte strukturierte Datenextraktion aus Webseiten.
/extract https://example.com "Extract the main heading and any links"/extract https://example.com/pricing --schema '{"plans": [{"name": "string", "price": "string"}]}'/llmstxt
Abschnitt betitelt „/llmstxt“Eine llms.txt-Datei für eine Website generieren.
/llmstxt https://docs.example.comFähigkeiten
Abschnitt betitelt „Fähigkeiten“web-scraper
Abschnitt betitelt „web-scraper“Wird automatisch aktiviert, wenn Sie darum bitten, eine URL zu scrapen, eine Website zu crawlen, Site-URLs zu mappen, das Web zu durchsuchen, strukturierte Daten zu extrahieren, eine llms.txt zu generieren, mehrere URLs als Batch zu scrapen oder eine Webseite in Markdown zu konvertieren. Delegiert sofort an den firecrawl-operator-Agenten.
Agenten
Abschnitt betitelt „Agenten“firecrawl-operator
Abschnitt betitelt „firecrawl-operator“Autonomer Web-Scraping-Agent, der curl- und jq-Sequenzen
gegen die lokale Firecrawl-API ausführt. Unterstützt 11 Protokolle,
die alle v1-Endpunkte abdecken. Nur-Lese-Agent (keine Schreib-, Bearbeitungs- oder Agenten-Werkzeuge).
| Protokoll | Endpunkt | Typ |
|---|---|---|
| HEALTH | GET / | Sync |
| SCRAPE | POST /v1/scrape | Sync |
| BATCH_SCRAPE | POST /v1/batch/scrape | Async |
| CRAWL | POST /v1/crawl | Async |
| CRAWL_CANCEL | DELETE /v1/crawl/:id | Sync |
| CRAWL_ACTIVE | GET /v1/crawl/active | Sync |
| CRAWL_ERRORS | GET /v1/crawl/:id/errors | Sync |
| MAP | POST /v1/map | Sync |
| SEARCH | POST /v1/search | Sync |
| EXTRACT | POST /v1/extract | Async |
| LLMSTXT | POST /v1/llmstxt | Async |
Infrastruktur
Abschnitt betitelt „Infrastruktur“Das Plugin erfordert den Firecrawl-Stack, der im Entwicklungscontainer läuft:
| Komponente | Port | Zweck |
|---|---|---|
| Firecrawl API | 3002 | Alle Scrape/Crawl/Map/Search/Extract-Endpunkte |
| Playwright | 3000 | JavaScript-Rendering-Engine |
| Redis | 6379 | Job-Queue-Backend |
| PostgreSQL | socket | Persistenz für Crawl-/Batch-Jobs |
| LiteLLM-Proxy | OPENAI_BASE_URL | KI-Backend für Extract (optional) |
Der Stack startet automatisch, wenn ENABLE_FIRECRAWL=true gesetzt ist (der
Standardwert). Ein SessionStart-Hook prüft, ob die API erreichbar ist, und
gibt eine Warnung aus, wenn der Dienst nicht verfügbar ist.
Unterschiede zur Cloud-Version von Firecrawl
Abschnitt betitelt „Unterschiede zur Cloud-Version von Firecrawl“Dieses Plugin verwendet die selbst gehostete Open-Source-Version:
- Keine Authentifizierung oder API-Schlüssel für das Scraping erforderlich
- Keine Kreditlimits oder Ratenbegrenzung
- Verwendet v1-API-Endpunkte (nicht v2)
- Browser-Sitzungen und Deep Research nicht verfügbar
- Extract verwendet Ihren eigenen KI-Proxy anstelle von gehosteten Modellen
- Läuft vollständig innerhalb des lokalen Container-Netzwerks