CaravelShieldBot

CaravelShieldBot ist der Crawler von Caravel Store Shield. Er liest öffentliche Seiten eines Onlineshops und hält fest, was sie zeigen. Wenn Sie ihn in Ihren Logs gefunden haben, erklärt diese Seite, was er getan hat.

Wie er sich zu erkennen gibt

Jede Anfrage sendet diesen User-Agent:

CaravelShieldBot/0.1 (+https://caravelsuite.com/shield/bot/)

Was er liest

  • Öffentliche Seiten des Shops: die Startseite, Kategorien, die Seite des leeren Warenkorbs, 1 rechtliche Seite und eine Stichprobe von bis zu 20 Produkten (aus einer Sale-Kollektion und der Sitemap).
  • Den sichtbaren Text, die in der Seite veröffentlichten Preisdaten und die Schaltflächen der ersten Ebene des Cookie-Banners (ohne sie anzuklicken).
  • Die Anfragen, die die Seite stellen will, sowie Cookies und localStorage in seinem eigenen Browser, der nach jedem Besuch geleert wird.
  • Screenshots der Seiten, für das Dossier.

Eine Seite wird zuerst als normaler Besuch geöffnet. Auf höchstens 2 Seiten wird sie mit dem Signal Global Privacy Control (Sec-GPC: 1) erneut geöffnet, als ergänzender technischer Test. Er wartet mindestens 5 Sekunden zwischen Seiten derselben Website, oder länger, wenn Ihre robots.txt dies mit Crawl-delay verlangt. In Shops, deren Inhaber den Dienst bestellt und die Kontrolle nachgewiesen haben, kommt er außerdem täglich zurück, um Preise aufzuzeichnen.

Was er nie tut

  • Er klickt nie, akzeptiert oder lehnt nie Cookies ab und schließt nie Banner.
  • Er sendet nie Formulare ab, meldet sich nie an, legt nie Produkte in den Warenkorb und kauft nie.
  • Er sendet nie bekannte Erfassungsanfragen an Dienste auf unserer Liste: Der Crawler beantwortet sie lokal. Die Skriptbibliotheken dieser Dienste, unbekannte Pfade und Bewertungs-Widgets laden wie jede andere Datei der Seite.
  • Er liest nie Seiten, die Ihre robots.txt ihm nicht erlaubt, und folgt nie Links zu anderen Websites.
  • Er ändert nie etwas an Ihrer Website.
  • Er versucht nie, eine Sperre zu umgehen: Beim ersten Captcha, 403, 429, 503 oder einer Prüfung hält er das fest und fragt keine weiteren Seiten dieses Shops ab.

robots.txt

Er folgt der Gruppe für CaravelShieldBot in Ihrer robots.txt oder, falls es keine gibt, der Gruppe für alle Crawler (*). So schließen Sie Ihre ganze Website aus:

User-agent: CaravelShieldBot
Disallow: /

Ausschluss beantragen

Sie können uns auch an caravel@caravelsuite.com mit Ihrer Domain schreiben. Wir setzen sie auf unsere Ausschlussliste, und der Crawler besucht sie nicht mehr.

Der Support erfolgt auf Englisch, Portugiesisch und Spanisch: Bitte schreiben Sie uns in einer dieser drei Sprachen.

Der Crawler wird von Jardim Idílico Unipessoal Lda (Caravel Suite), Portugal, betrieben.

Über Caravel Store Shield →