Firecrawl

OpenClaw kann Firecrawl als Fallback-Extraktor für web_fetch nutzen. Es ist ein gehosteter Content-Extraktionsdienst mit Bot-Umgehung und Caching, was bei JS-lastigen Seiten oder Seiten, die einfache HTTP-Fetches blockieren, hilft.

API-Key besorgen

1. Firecrawl-Account anlegen und API-Key erzeugen.
2. In der Config speichern oder FIRECRAWL_API_KEY in der Gateway-Umgebung setzen.

Firecrawl konfigurieren

{
  tools: {
    web: {
      fetch: {
        firecrawl: {
          apiKey: "FIRECRAWL_API_KEY_HERE",
          baseUrl: "https://api.firecrawl.dev",
          onlyMainContent: true,
          maxAgeMs: 172800000,
          timeoutSeconds: 60
        }
      }
    }
  }
}

Hinweise:

• firecrawl.enabled ist standardmäßig true, wenn ein API-Key vorhanden ist.
• maxAgeMs steuert, wie alt gecachte Ergebnisse sein dürfen (ms). Standard sind 2 Tage.

Stealth / Bot-Umgehung

Firecrawl bietet einen Proxy-Modus-Parameter für Bot-Umgehung (basic, stealth oder auto). OpenClaw nutzt für Firecrawl-Anfragen immer proxy: "auto" plus storeInCache: true. Fehlt proxy, nutzt Firecrawl standardmäßig auto. auto versucht bei fehlgeschlagenem Basic-Versuch erneut mit Stealth-Proxies, was mehr Credits verbrauchen kann als reines Basic-Scraping.

Wie web_fetch Firecrawl nutzt

Reihenfolge bei web_fetch-Extraktion:

1. Readability (lokal)
2. Firecrawl (wenn konfiguriert)
3. Einfache HTML-Bereinigung (letzter Fallback)

Siehe Web-Tools für das vollständige Web-Tool-Setup.