f5xc-firecrawl
f5xc-firecrawl प्लगइन ओपन-सोर्स firecrawl
इंजन के माध्यम से स्थानीय स्व-होस्टेड वेब स्क्रैपिंग प्रदान करता है।
कोई API कुंजी नहीं, कोई सदस्यता नहीं, कोई क्लाउड निर्भरता नहीं। सभी
ऑपरेशन डेवकंटेनर के अंदर localhost:3002 पर स्थानीय firecrawl इंस्टेंस के विरुद्ध चलते हैं।
इंस्टॉलेशन
Section titled “इंस्टॉलेशन”/plugin install f5xc-firecrawl@f5-sales-demo-marketplace/scrape
Section titled “/scrape”एकल URL को स्क्रैप करें और सामग्री को markdown के रूप में निकालें।
/scrape https://docs.example.com/getting-started/scrape https://example.com --format markdown,links --wait 2000/batch-scrape
Section titled “/batch-scrape”एक साथ कई URL स्क्रैप करें।
/batch-scrape https://example.com https://example.org https://example.net/crawl
Section titled “/crawl”किसी प्रारंभिक URL से कई पेज क्रॉल करें।
/crawl https://docs.example.com --limit 20 --depth 2/crawl https://docs.example.com --include /api/* --exclude /blog/*किसी वेबसाइट के सभी URL खोजें।
/map https://docs.example.com/map https://docs.example.com --search api --subdomains/search
Section titled “/search”वेब पर खोजें और वैकल्पिक रूप से परिणाम स्क्रैप करें।
/search "firecrawl web scraping" --limit 10/search "AI tools 2026" --scrape --time month/extract
Section titled “/extract”वेब पेजों से LLM-संचालित संरचित डेटा निष्कर्षण।
/extract https://example.com "Extract the main heading and any links"/extract https://example.com/pricing --schema '{"plans": [{"name": "string", "price": "string"}]}'/llmstxt
Section titled “/llmstxt”किसी साइट के लिए llms.txt फ़ाइल बनाएं।
/llmstxt https://docs.example.comस्किल्स
Section titled “स्किल्स”web-scraper
Section titled “web-scraper”स्वतः-सक्रिय होता है जब आप किसी URL को स्क्रैप करने, वेबसाइट क्रॉल करने, साइट URL मैप करने, वेब पर खोज करने, संरचित डेटा निकालने, llms.txt बनाने, कई URL बैच-स्क्रैप करने, या किसी वेब पेज को markdown में कनवर्ट करने का अनुरोध करते हैं। तुरंत firecrawl-operator एजेंट को सौंप देता है।
firecrawl-operator
Section titled “firecrawl-operator”स्वायत्त वेब स्क्रैपिंग एजेंट जो स्थानीय firecrawl API के विरुद्ध curl + jq
अनुक्रम निष्पादित करता है। सभी v1 एंडपॉइंट को कवर करने वाले 11 प्रोटोकॉल
का समर्थन करता है। रीड-ओनली एजेंट (कोई Write, Edit, या Agent उपकरण नहीं)।
| प्रोटोकॉल | एंडपॉइंट | प्रकार |
|---|---|---|
| HEALTH | GET / | Sync |
| SCRAPE | POST /v1/scrape | Sync |
| BATCH_SCRAPE | POST /v1/batch/scrape | Async |
| CRAWL | POST /v1/crawl | Async |
| CRAWL_CANCEL | DELETE /v1/crawl/:id | Sync |
| CRAWL_ACTIVE | GET /v1/crawl/active | Sync |
| CRAWL_ERRORS | GET /v1/crawl/:id/errors | Sync |
| MAP | POST /v1/map | Sync |
| SEARCH | POST /v1/search | Sync |
| EXTRACT | POST /v1/extract | Async |
| LLMSTXT | POST /v1/llmstxt | Async |
इंफ्रास्ट्रक्चर
Section titled “इंफ्रास्ट्रक्चर”इस प्लगइन के लिए डेवकंटेनर में चल रही firecrawl स्टैक आवश्यक है:
| घटक | पोर्ट | उद्देश्य |
|---|---|---|
| Firecrawl API | 3002 | सभी scrape/crawl/map/search/extract एंडपॉइंट |
| Playwright | 3000 | JavaScript रेंडरिंग इंजन |
| Redis | 6379 | जॉब क्यू बैकएंड |
| PostgreSQL | socket | Crawl/batch जॉब पर्सिस्टेंस |
| LiteLLM proxy | OPENAI_BASE_URL | extract के लिए LLM बैकएंड (वैकल्पिक) |
जब ENABLE_FIRECRAWL=true हो (डिफ़ॉल्ट) तो स्टैक स्वतः प्रारंभ होती है।
एक SessionStart हुक यह जाँचता है कि API पहुँच योग्य है और यदि सेवा बंद हो तो
चेतावनी देता है।
क्लाउड Firecrawl से अंतर
Section titled “क्लाउड Firecrawl से अंतर”यह प्लगइन स्व-होस्टेड ओपन-सोर्स संस्करण का उपयोग करता है:
- स्क्रैपिंग के लिए कोई प्रमाणीकरण या API कुंजी आवश्यक नहीं
- कोई क्रेडिट सीमा या दर सीमा नहीं
- v1 API एंडपॉइंट का उपयोग करता है (v2 नहीं)
- ब्राउज़र सेशन और डीप रिसर्च उपलब्ध नहीं
- Extract होस्टेड मॉडल की बजाय आपके स्वयं के LLM प्रॉक्सी का उपयोग करता है
- पूरी तरह स्थानीय कंटेनर नेटवर्क के भीतर चलता है