flexCrawl

Eigenständiger Web-Crawler-Dienst für lokale und remote Auftraggeber.

A standalone web crawler service for local and remote clients.

Zweistufig · Two-stage: Struktur-Ermittlung, dann Content-Extraktion schichtweise bis zur gewünschten Tiefe. Structure discovery, then content extraction layer by layer.
Anständig · Respectful: robots.txt wird respektiert. Crawl-Delay wird eingehalten. Kein Flood. robots.txt respected. Crawl delays observed. No flooding.
Priorisiert · Prioritised: Drei Prioritätsstufen. Schutzfrist verhindert unnötige Mehrfach-Crawls. Three priority levels. Protection window prevents redundant re-crawls.

flexCrawl ist nicht öffentlich zugänglich. flexCrawl is not publicly accessible.