CaravelShieldBot
O CaravelShieldBot é o robô do Caravel Store Shield. Lê páginas públicas de uma loja online e regista o que mostram. Se o encontrou nos seus registos, esta página explica o que fez.
Como se identifica
Todos os pedidos enviam este User-Agent:
CaravelShieldBot/0.1 (+https://caravelsuite.com/shield/bot/)
O que lê
- Páginas públicas da loja: a página inicial, categorias, a página do carrinho vazio, 1 página legal e uma amostra de até 20 produtos (de uma coleção de saldos e do sitemap).
- O texto visível, os dados de preço publicados na página e os botões da 1.ª camada do aviso de cookies (sem clicar neles).
- Os pedidos que a página tenta fazer, e os cookies e o localStorage no seu próprio browser, que é esvaziado depois de cada visita.
- Capturas das páginas, para o dossiê.
A página é primeiro aberta como uma visita normal. Em 2 páginas no máximo é aberta de novo com o sinal Global Privacy Control (Sec-GPC: 1), como teste técnico complementar. Espera pelo menos 5 segundos entre páginas do mesmo site, ou mais se o seu robots.txt o pedir com Crawl-delay. Nas lojas cujos donos encomendaram o serviço e provaram o controlo, volta também todos os dias para registar os preços.
O que nunca faz
- Nunca clica, nunca aceita nem recusa cookies e nunca fecha avisos.
- Nunca submete formulários, nunca inicia sessão, nunca adiciona produtos ao carrinho nem compra.
- Nunca envia pedidos de recolha conhecidos a serviços da nossa lista: são respondidos localmente pelo robô. As bibliotecas de scripts desses serviços, os caminhos desconhecidos e os widgets de avaliações carregam como qualquer outro ficheiro da página.
- Nunca lê páginas que o seu robots.txt não lhe permita ler e nunca segue ligações para outros sites.
- Nunca altera nada no seu site.
- Nunca tenta contornar um bloqueio: ao primeiro captcha, 403, 429, 503 ou desafio, regista-o e deixa de pedir páginas a essa loja.
robots.txt
Segue o grupo do CaravelShieldBot no seu robots.txt ou, se não houver, o grupo de todos os robôs (*). Para excluir o site inteiro:
User-agent: CaravelShieldBot
Disallow: /Pedir exclusão
Também pode escrever para caravel@caravelsuite.com com o seu domínio. Acrescentamo-lo à nossa lista de exclusão e o robô não volta a visitá-lo.
O robô é operado pela Jardim Idílico Unipessoal Lda (Caravel Suite), Portugal.