CaravelShieldBot
CaravelShieldBot is de robot van Caravel Store Shield. Hij leest openbare pagina’s van een webwinkel en noteert wat ze tonen. Heb je hem in je logs gevonden? Op deze pagina staat wat hij heeft gedaan.
Hoe hij zich identificeert
Elk verzoek stuurt deze User-Agent mee:
CaravelShieldBot/0.1 (+https://caravelsuite.com/shield/bot/)
Wat hij leest
- Openbare pagina’s van de winkel: de startpagina, categorieën, de pagina van de lege winkelwagen, 1 juridische pagina en een steekproef van maximaal 20 producten (uit een uitverkoopcollectie en de sitemap).
- De zichtbare tekst, de prijsgegevens die in de pagina staan en de knoppen van de eerste laag van de cookiebanner (zonder erop te klikken).
- De verzoeken die de pagina probeert te doen, en de cookies en localStorage in zijn eigen browser, die na elk bezoek wordt geleegd.
- Schermafbeeldingen van de pagina’s, voor het dossier.
Een pagina wordt eerst geopend als een normaal bezoek. Op maximaal 2 pagina’s wordt ze opnieuw geopend met het signaal Global Privacy Control (Sec-GPC: 1), als aanvullende technische test. Hij wacht minstens 5 seconden tussen pagina’s van dezelfde site, of langer als je robots.txt daarom vraagt met Crawl-delay. In winkels waarvan de eigenaar de dienst heeft besteld en het beheer heeft aangetoond, komt hij ook elke dag terug om prijzen te registreren.
Wat hij nooit doet
- Hij klikt nooit, accepteert of weigert nooit cookies en sluit nooit banners.
- Hij verstuurt nooit formulieren, logt nooit in, legt nooit producten in de winkelwagen en koopt nooit.
- Hij stuurt nooit bekende verzamelverzoeken naar diensten op onze lijst: de robot beantwoordt ze lokaal. De scriptbibliotheken van die diensten, onbekende paden en reviewwidgets laden als elk ander bestand van de pagina.
- Hij leest nooit pagina’s die je robots.txt hem niet toestaat en volgt nooit links naar andere sites.
- Hij verandert nooit iets op je site.
- Hij probeert nooit een blokkade te omzeilen: bij de eerste captcha, 403, 429, 503 of controle noteert hij dat en vraagt hij geen pagina’s meer aan die winkel.
robots.txt
Hij volgt de groep voor CaravelShieldBot in je robots.txt of, als die er niet is, de groep voor alle robots (*). Om je hele site uit te sluiten:
User-agent: CaravelShieldBot
Disallow: /Uitsluiting aanvragen
Je kunt ook schrijven naar caravel@caravelsuite.com met je domein. We zetten het op onze uitsluitingslijst en de robot bezoekt het niet meer.
Support is beschikbaar in het Engels, Portugees en Spaans: schrijf ons in een van deze drie talen.
De robot wordt beheerd door Jardim Idílico Unipessoal Lda (Caravel Suite), Portugal.