CaravelShieldBot
CaravelShieldBot es el robot de Caravel Store Shield. Lee páginas públicas de una tienda online y anota lo que muestran. Si lo has encontrado en tus registros, esta página explica lo que hizo.
Cómo se identifica
Todas las solicitudes envían este User-Agent:
CaravelShieldBot/0.1 (+https://caravelsuite.com/shield/bot/)
Qué lee
- Páginas públicas de la tienda: la página de inicio, categorías, la página del carrito vacío, 1 página legal y una muestra de hasta 20 productos (de una colección de rebajas y del sitemap).
- El texto visible, los datos de precio publicados en la página y los botones de la primera capa del aviso de cookies (sin hacer clic en ellos).
- Las peticiones que la página intenta hacer, y las cookies y el localStorage en su propio navegador, que se vacía después de cada visita.
- Capturas de las páginas, para el dosier.
La página se abre primero como una visita normal. En 2 páginas como máximo se abre de nuevo con la señal Global Privacy Control (Sec-GPC: 1), como prueba técnica complementaria. Espera al menos 5 segundos entre páginas del mismo sitio, o más si tu robots.txt lo pide con Crawl-delay. En las tiendas cuyos dueños encargaron el servicio y demostraron el control, vuelve también cada día para registrar los precios.
Qué no hace nunca
- Nunca hace clic, nunca acepta ni rechaza cookies y nunca cierra avisos.
- Nunca envía formularios, nunca inicia sesión, nunca añade productos al carrito ni compra.
- Nunca envía peticiones de recogida conocidas a servicios de nuestra lista: las responde localmente el robot. Las bibliotecas de scripts de esos servicios, las rutas desconocidas y los widgets de opiniones se cargan como cualquier otro archivo de la página.
- Nunca lee páginas que tu robots.txt le prohíba y nunca sigue enlaces a otros sitios.
- Nunca cambia nada en tu sitio.
- Nunca intenta sortear un bloqueo: al primer captcha, 403, 429, 503 o desafío, lo anota y deja de pedir páginas a esa tienda.
robots.txt
Sigue el grupo de CaravelShieldBot en tu robots.txt o, si no lo hay, el grupo de todos los robots (*). Para excluir todo el sitio:
User-agent: CaravelShieldBot
Disallow: /Pedir la exclusión
También puedes escribir a caravel@caravelsuite.com con tu dominio. Lo añadimos a nuestra lista de exclusión y el robot no volverá a visitarlo.
El robot lo opera Jardim Idílico Unipessoal Lda (Caravel Suite), Portugal.