Sobre o crawler do Mascatia

O Mascatia escaneia lojas de e-commerce a pedido do próprio lojista (ou de quem submeteu a URL no formulário público), para diagnosticar se a loja é encontrada e compreendida por agentes de IA. Esta página documenta, de forma transparente, como o nosso crawler se comporta.

User-agent

Toda requisição do scanner é identificada pelo cabeçalho User-Agent:

MascatiaScanner/1.0 (+https://mascatia.com.br/bot)

O que acessamos

• /robots.txt — sempre consultado antes de qualquer outra página, e respeitado.
• A página inicial da loja.
• O sitemap declarado (/sitemap.xml, /sitemap_index.xml ou o(s) declarado(s) no robots.txt).
• Uma página de produto representativa.
• Arquivos .well-known/ e feeds de catálogo conhecidos, relacionados aos protocolos de agent-readiness (dados estruturados, UCP, ACP, MCP).

Nunca acessamos páginas de checkout, área logada, ou qualquer recurso fora do domínio escaneado.

Taxa de requisições

• Intervalo mínimo entre requisições ao mesmo domínio: 1000ms.
• Máximo de requisições por domínio em um único scan: 15.
• Cada scan é disparado manualmente (por um usuário ou pelo lojista) — não fazemos varreduras periódicas não solicitadas.

Como bloquear o Mascatia

Respeitamos o robots.txt. Para impedir que o MascatiaScanner acesse sua loja, adicione ao seu robots.txt:

User-agent: MascatiaScanner
Disallow: /

Contato

Dúvidas, abusos ou pedidos de remoção: https://mascatia.com.br/bot.