پلتفرم کراول و کراولر وب (Crawl Platform)
پیمایش هوشمند ۵۰,۰۰۰+ صفحه با صفر نشت حافظه

پلتفرم کراول (Crawl Platform) چگونه کار می‌کند؟

در وب اسکرپینگ ساده، شما یک لینک معین به سرور ارسال می‌کنید و دیتای همان لینک استخراج می‌شود. اما زمانی که هدف شما جمع‌آوری صدها مقاله از یک پایگاه دانش، استخراج تمام کالاهای یک فروشگاه یا ساخت دیتاست آموزشی برای مدل‌های هوش مصنوعی (RAG / LLMs) است، وارد کردن تک‌تک لینک‌ها غیرممکن است. اینجاست که پلتفرم کراول (Crawler Platform) وارد میدان می‌شود.

مقایسه پلتفرم کراول فلای‌کراول با فایرکراول و فریمورک‌های سنتی

# pip install requests
import requests, time

API_KEY = "fc_live_YOUR_API_KEY"
API_URL = "https://flycrawl.net/api/v1/crawl"

headers = {
    "Authorization": f"Bearer {API_KEY}",
    "Content-Type": "application/json"
}

payload = {
    "url": "https://example.com/docs",
    "limit": 500,
    "maxDepth": 3,
    "allowBackwardLinks": False,
    "scrapeOptions": {
        "formats": ["markdown"],
        "onlyMainContent": True
    }
}

# 1. Start the Crawl Job
response = requests.post(API_URL, json=payload, headers=headers)
job_id = response.json()["id"]
print(f"🚀 Crawl started! Job ID: {job_id}")

# 2. Poll for Status or stream via SSE at /api/v1/crawl/{job_id}/stream
while True:
    status_res = requests.get(f"{API_URL}/{job_id}", headers=headers).json()
    print(f"Status: {status_res['status']} | Scraped: {status_res['completed']}/{status_res['total']}")
    if status_res["status"] == "completed":
        print("✅ Crawl finished! Clean Fit-Markdown dataset ready.")
        break
    time.sleep(3)

پرسش‌های متداول درباره پلتفرم کراول و وب کراولرها

آماده کراول خودکار و استخراج مقیاس‌پذیر وب هستید؟

همین حالا بدون نیاز به کارت‌های اعتباری بین‌المللی ثبت‌نام کنید و ۱۰۰ کردیت رایگان کراول دریافت کنید.