Zum Inhalt springen

RAG & Vektordatenbanken

Firecrawl
im Test.

Firecrawl ist eine Web-Scraping-API mit über 159.000 GitHub-Sternen, die Webseiten zuverlässig in aufbereitetes Markdown oder strukturiertes JSON umwandelt. Dabei rendert Firecrawl auch JavaScript-lastige Seiten, crawlt ganze Websites und liest strukturierte Daten per Schema aus. Seit Juni 2026 arbeiten KI-Agenten über die MCP-Anbindung auch ohne API-Schlüssel, mit 1.000 Gratis-Credits im Monat.

4,5 von 5

Stand 3. August 2026

Preismodell Freemium, Kostenlos (1.000 Credits monatlich) / Cloud ab ca. 14 €/Monat (16 USD) / Enterprise auf Anfrage
Betriebsort beides möglich
DSGVO im Einzelfall zu prüfen
Quelloffen ja, AGPL-3.0

Webseiten bestehen aus HTML, CSS und JavaScript, ein Sprachmodell braucht dagegen Fließtext ohne Markup. Firecrawl macht aus beliebigen URLs fertiges Markdown oder strukturiertes JSON, das ein KI-Agent direkt weiterverarbeitet und ein RAG-System in seine Dokumentensammlung aufnimmt. Bekannt geworden ist Firecrawl über seine Anbindung an das Model Context Protocol (MCP), die offene Schnittstelle, mit der Agenten wie Claude fremde Werkzeuge ansteuern. Seit Juni 2026 geht das ohne Anmeldung.

Wichtigste Funktionen

  • Scrape: Eine einzelne URL übergeben und aufbereitetes Markdown zurückbekommen, inklusive JavaScript-Rendering. Seiten, die klassische Scraper nicht lesen können, weil sie erst im Browser aufgebaut werden, verarbeitet Firecrawl problemlos. Seit Mai 2026 sparen 2 neue Ausgabeformate Tokens. Das Format question liefert eine belegte Antwort auf eine Frage zur Seite, highlights gibt nur die passenden Sätze, Codeblöcke und Tabellenzeilen im Wortlaut zurück, laut Hersteller mit bis zu 100-mal weniger Tokens als ein voller Abruf.
  • Crawl und Map: Firecrawl folgt automatisch Links und crawlt eine komplette Website. Du definierst Tiefe, Seitenanzahl und optionale URL-Filter, das Ergebnis ist ein strukturierter Datensatz aller Seiten. Map liefert vorab die vollständige Sitemap in Sekunden, damit du den Umfang einschätzen kannst, bevor ein Crawl startet.
  • Extract: Statt rohem Markdown kannst du ein JSON-Schema vorgeben. Firecrawl extrahiert dann gezielt die Felder, die du brauchst, zum Beispiel Produktname, Preis und Beschreibung aus einem Online-Shop.
  • Monitor: Seit dem 01.07.2026 überwacht Firecrawl einzelne Seiten, ganze Websites oder Suchtreffer nach Zeitplan, mit einem Mindestintervall von 5 Minuten und bis zu 50 Zielen je Monitor. Ein in Klartext formuliertes Ziel sorgt dafür, dass nur inhaltlich relevante Änderungen gemeldet werden, die Benachrichtigung kommt per Webhook, E-Mail oder Slack. Für Preisbeobachtung oder Ausschreibungsportale ersetzt das eine selbst gebaute Prüfschleife.
  • MCP-Anbindung, auch ohne Schlüssel: Über das Model Context Protocol nutzt ein KI-Agent Firecrawl direkt als Werkzeug und holt sich Seiten, Suchtreffer und strukturierte Daten selbst. Seit dem 16.06.2026 laufen scrape, search, interact und parse in den offiziellen MCP-, CLI- und SDK-Clients ohne API-Schlüssel, mit 1.000 Credits im Monat. Für crawl, map, extract und agent brauchst du weiterhin ein Konto.
  • Agent und Browsersitzung: Für Seiten mit Login, Formularen oder seitenweisem Blättern startet Firecrawl eine echte Browsersitzung, abgerechnet nach Browserminuten. Der frühere FIRE-1-Agent heißt inzwischen Firecrawl Agent und arbeitet mit 2 Modellen, Spark 1 Mini als günstigem Standard und Spark 1 Pro für schwierige Aufgaben. Er sucht selbst nach passenden Seiten, wenn du die URL gar nicht kennst. Die Abrechnung ist dynamisch, eine Obergrenze setzt du über den Parameter maxCredits.

Preise und Tarife

Der Free-Plan liefert inzwischen 1.000 Credits pro Monat statt der früheren 500 Credits einmalig, dazu 1.000 Suchcredits bei 2 parallelen Anfragen und ohne Kreditkarte. Der Hobby-Plan kostet ca. 14 Euro pro Monat (16 USD, jährlich abgerechnet) und enthält 5.000 Credits monatlich bei 5 parallelen Anfragen. Der Standard-Plan, den Firecrawl selbst als beliebtesten ausweist, liegt bei ca. 71 Euro pro Monat (83 USD) mit 100.000 Credits und 50 parallelen Anfragen. Growth kostet ca. 286 Euro (333 USD, 500.000 Credits, 100 parallel), Scale ca. 515 Euro (599 USD, 1 Million Credits, 150 parallel). Erst ab Scale wandern nicht genutzte Credits in den Folgemonat, auf den kleineren Tarifen verfallen sie. Der Enterprise-Plan ist Verhandlungssache und umfasst eine Verfügbarkeitszusage (SLA), die Anmeldung über den zentralen Firmenzugang (Single Sign-on), Mengenrabatt und den Verzicht auf jede Speicherung der Inhalte (Zero Data Retention). Einen nutzungsbasierten Tarif gibt es nicht.

Ein Credit entspricht einer gescrapten, gecrawlten oder überwachten Seite. Suchen kosten 2 Credits je 10 Ergebnisse, eine Browserminute im Interact-Endpunkt ebenfalls 2 Credits. Das JSON-Format und der Enhanced Mode schlagen zusätzliche Credits auf. Der Agent rechnet dynamisch ab, 5 Läufe pro Tag sind frei. Fehler auf Firecrawl-Seite wie Zeitüberschreitungen bleiben unberechnet, eine erfolgreich abgerufene Seite zählt dagegen auch dann, wenn die Seite selbst eine Fehlermeldung ausliefert.

Betrieb auf dem eigenen Server ist über GitHub kostenlos, verlangt aber Docker, Redis und einen Playwright-Dienst, dazu optional Supabase für Anmeldung und Protokolle sowie einen Schlüssel für ein Sprachmodell. In der selbst betriebenen Fassung fehlen die Endpunkte für Agent und Browser ganz, und die Fire-Engine gegen IP-Sperren und Bot-Erkennung bleibt der Cloud vorbehalten. Firecrawl weist alle genannten Beträge netto aus, die Umsatzsteuer schlägt beim Kauf noch auf.

Für wen ist Firecrawl geeignet?

  • Entwickler, die RAG-Systeme mit Webinhalten aufbauen: Firecrawl liefert den Eingabetext für Embedding-Modelle und Vektordatenbanken, ohne dass jemand HTML von Hand nachbearbeitet. Beides zusammen bildet den Suchindex, aus dem das RAG-System später seine Antworten zieht. Die neuen Formate question und highlights halten den Tokenverbrauch klein, weil nur die passenden Stellen zurückkommen.
  • Teams, die KI-Agenten mit echtem Webzugang ausstatten wollen: Über die MCP-Anbindung recherchieren Agenten eigenständig, ohne dass ihr selbst eine Browser-Infrastruktur betreibt. Für einen ersten Test braucht ihr seit Juni 2026 nicht einmal ein Konto.
  • Vertriebs- und Produktteams in der Wettbewerbsbeobachtung: Preise, Produktbeschreibungen oder Pressemitteilungen ruft ihr strukturiert ab. Der Monitor-Endpunkt meldet Änderungen von selbst, statt dass jemand die Seiten regelmäßig durchklickt.

DSGVO und Datenschutz

Hinter Firecrawl steht die SideGuide Technologies, Inc. aus Delaware. Die Datenschutzerklärung nennt die USA als Serverstandort und weist Nutzer außerhalb der USA ausdrücklich darauf hin, dass ihre Daten dorthin übertragen werden und dort ein anderes Schutzniveau gilt. Eine EU-Region gibt es nicht. Firecrawl nennt Stripe, PostHog, Crisp und Vercel Analytics als Unterauftragsverarbeiter, ist nach SOC 2 Type II geprüft, stellt einen Auftragsverarbeitungsvertrag bereit und führt ein öffentliches Trust Center unter trust.firecrawl.dev.

Mit dem neueren Schalter redactPII entfernt Firecrawl Namen, E-Mail-Adressen, Telefonnummern, Anschriften und Zugangsdaten aus dem Ergebnis, bevor es ausgeliefert wird, wahlweise pauschal oder nach ausgewählten Kategorien. Der Lockdown-Modus beantwortet einen Scrape ausschließlich aus dem vorhandenen Firecrawl-Index, ohne einen einzigen ausgehenden Aufruf, und speichert dabei weder die URL noch die Antwort.

Trotzdem läuft jede Anfrage über einen US-Anbieter und muss als Datentransfer in ein Drittland bewertet werden, deshalb führen wir Firecrawl nicht als DSGVO-konform. Wer die Verarbeitung im eigenen Rechenzentrum halten muss, betreibt die AGPL-3.0-lizenzierte Fassung selbst und nimmt die fehlende Fire-Engine in Kauf. Die AGPL verlangt dann, eigene Erweiterungen ebenfalls offenzulegen. Wer Firecrawl in ein eigenes Produkt einbinden will, klärt diese Pflicht vorher juristisch ab.

Alternativen zu Firecrawl

  • Crawl4AI: Python-Bibliothek mit demselben Zweck, die auf eurer eigenen Hardware arbeitet und beim regelbasierten Weg über CSS und XPath ohne fremden Dienst auskommt. Datenschutzrechtlich hängt der Vorteil aber daran, wie ihr Crawl4AI betreibt, denn seit Sommer 2026 gibt es zusätzlich eine gehostete Cloud-Variante aus Singapur, und die LLM-gestützte Extraktion schickt Seiteninhalte an den Modellanbieter, den ihr eintragt.
  • Jina Reader: Für einzelne Seiten reicht es, r.jina.ai/ vor die URL zu setzen. Dafür hast du keine Kontrolle über Browser, Proxys oder Crawl-Tiefe und kannst keine ganzen Websites crawlen.
  • Docling: Für PDFs, Word- und PowerPoint-Dateien ist Docling die passende Wahl. Es läuft lokal und braucht keine API.

Wofür Firecrawl taugt

  • Rendert JavaScript-lastige Seiten zuverlässig
  • MCP-Anbindung, seit Juni 2026 auch ohne API-Schlüssel nutzbar
  • Crawlt ganze Websites automatisch entlang der Linkstruktur
  • Strukturierte Datenextraktion per JSON-Schema
  • redactPII entfernt personenbezogene Daten vor der Auslieferung

Wo es hakt

  • Cloud-Infrastruktur in den USA, keine EU-Region wählbar
  • Beim Eigenbetrieb fehlen Agent- und Browser-Endpunkt sowie der Schutz gegen IP-Sperren
  • Credits verfallen monatlich, ein Übertrag ist erst ab dem Scale-Tarif möglich
  • Kein nutzungsbasierter Tarif, nur feste Monatspakete

Wofür es eingesetzt wird

Webseiten in Markdown umwandeln · Datenextraktion für RAG-Pipelines · KI-Agenten mit Webzugang ausstatten · Ganze Websites crawlen und indexieren · Webseiten und Suchtreffer auf Änderungen überwachen