f5xc-firecrawl
يوفر مكوّن f5xc-firecrawl خدمة كشط الويب محلياً باستخدام محرك
firecrawl
مفتوح المصدر. لا مفاتيح API، ولا اشتراكات، ولا اعتماد على السحابة. تعمل جميع
العمليات على نسخة firecrawl المحلية على localhost:3002
داخل حاوية التطوير.
التثبيت
Section titled “التثبيت”/plugin install f5xc-firecrawl@f5-sales-demo-marketplaceالأوامر
Section titled “الأوامر”/scrape
Section titled “/scrape”كشط رابط URL واحد واستخراج محتواه بصيغة markdown.
/scrape https://docs.example.com/getting-started/scrape https://example.com --format markdown,links --wait 2000/batch-scrape
Section titled “/batch-scrape”كشط روابط URL متعددة في آنٍ واحد.
/batch-scrape https://example.com https://example.org https://example.net/crawl
Section titled “/crawl”استكشاف صفحات متعددة انطلاقاً من رابط URL ابتدائي.
/crawl https://docs.example.com --limit 20 --depth 2/crawl https://docs.example.com --include /api/* --exclude /blog/*اكتشاف جميع روابط URL على موقع ويب.
/map https://docs.example.com/map https://docs.example.com --search api --subdomains/search
Section titled “/search”البحث في الويب واختياري كشط النتائج.
/search "firecrawl web scraping" --limit 10/search "AI tools 2026" --scrape --time month/extract
Section titled “/extract”استخراج بيانات منظَّمة من صفحات الويب بتقنية نماذج اللغة الكبيرة (LLM).
/extract https://example.com "Extract the main heading and any links"/extract https://example.com/pricing --schema '{"plans": [{"name": "string", "price": "string"}]}'/llmstxt
Section titled “/llmstxt”توليد ملف llms.txt لموقع ما.
/llmstxt https://docs.example.comالمهارات
Section titled “المهارات”web-scraper
Section titled “web-scraper”يُفعَّل تلقائياً عند طلب كشط رابط URL، أو استكشاف موقع ويب، أو رسم خريطة لروابط الموقع، أو البحث في الويب، أو استخراج بيانات منظَّمة، أو توليد ملف llms.txt، أو الكشط الجماعي لروابط متعددة، أو تحويل صفحة ويب إلى markdown. يُفوِّض التنفيذ فوراً إلى وكيل firecrawl-operator.
الوكلاء
Section titled “الوكلاء”firecrawl-operator
Section titled “firecrawl-operator”وكيل كشط ويب ذاتي يُنفِّذ تسلسلات curl + jq
على واجهة firecrawl API المحلية. يدعم 11 بروتوكولاً تغطي جميع
نقاط نهاية v1. وكيل للقراءة فقط (لا أدوات Write أو Edit أو Agent).
| البروتوكول | نقطة النهاية | النوع |
|---|---|---|
| HEALTH | GET / | متزامن |
| SCRAPE | POST /v1/scrape | متزامن |
| BATCH_SCRAPE | POST /v1/batch/scrape | غير متزامن |
| CRAWL | POST /v1/crawl | غير متزامن |
| CRAWL_CANCEL | DELETE /v1/crawl/:id | متزامن |
| CRAWL_ACTIVE | GET /v1/crawl/active | متزامن |
| CRAWL_ERRORS | GET /v1/crawl/:id/errors | متزامن |
| MAP | POST /v1/map | متزامن |
| SEARCH | POST /v1/search | متزامن |
| EXTRACT | POST /v1/extract | غير متزامن |
| LLMSTXT | POST /v1/llmstxt | غير متزامن |
البنية التحتية
Section titled “البنية التحتية”يتطلب المكوّن تشغيل حزمة firecrawl داخل حاوية التطوير:
| المكوّن | المنفذ | الغرض |
|---|---|---|
| Firecrawl API | 3002 | جميع نقاط نهاية الكشط/الاستكشاف/الخريطة/البحث/الاستخراج |
| Playwright | 3000 | محرك عرض JavaScript |
| Redis | 6379 | خلفية قائمة انتظار المهام |
| PostgreSQL | socket | استمرارية مهام الاستكشاف والكشط الجماعي |
| LiteLLM proxy | OPENAI_BASE_URL | خلفية LLM للاستخراج (اختياري) |
تبدأ الحزمة تلقائياً عند تفعيل ENABLE_FIRECRAWL=true (الإعداد
الافتراضي). تتحقق خطافة SessionStart من إمكانية الوصول إلى واجهة API
وتُصدر تحذيراً إذا كانت الخدمة متوقفة.
الفوارق عن Firecrawl السحابي
Section titled “الفوارق عن Firecrawl السحابي”يستخدم هذا المكوّن النسخة المستضافة ذاتياً مفتوحة المصدر:
- لا مصادقة أو مفاتيح API مطلوبة للكشط
- لا حدود ائتمانية أو تقييد لمعدل الطلبات
- يستخدم نقاط نهاية واجهة v1 API (وليس v2)
- جلسات المتصفح والبحث المعمّق غير متاحَين
- يستخدم الاستخراج وكيل LLM الخاص بك عوضاً عن النماذج المستضافة
- يعمل بالكامل داخل شبكة الحاوية المحلية