Nosso robô de leitura

É um programa da Assim eu topo! que lê páginas públicas e oficiais de fontes de viagem, como governos, órgãos de turismo e operadores, para conferir as informações dos nossos guias. Ele lê o que qualquer visitante pode ler, sem login, sem cadastro e sem acesso a áreas restritas.

A leitura serve para conferir dados que mudam, como regras de entrada, horários, valores e exigências documentais, e assim manter os guias atualizados e corretos.

O robô nunca é usado para copiar texto de terceiros. Os guias são redigidos pela nossa equipe; a fonte oficial é consultada como referência de verificação, e não como material a ser reproduzido.

• A leitura é mensal.
• No máximo uma página a cada 10 segundos por site.
• Uma requisição por vez: o robô não abre conexões paralelas no mesmo domínio.

Antes de ler qualquer página, o robô consulta o robots.txt do site e obedece às regras ali declaradas, inclusive as que se aplicam especificamente ao nome AET360-Robo.

Ao receber uma resposta 403 ou 429, ou qualquer tipo de desafio de verificação, o robô para imediatamente de visitar aquele site. Ele não tenta contornar bloqueios, não troca de identificação e não repete a tentativa por outro caminho.

O robô sempre se apresenta com o mesmo User-Agent, que aponta para esta página:

AET360-Robo/1.0 (+https://www.assimeutopo.com.br/robo)

O caminho mais direto é declarar a regra no robots.txt do seu site, por exemplo:

User-agent: AET360-Robo
Disallow: /

Se preferir, escreva para contato@assimeutopo.com.br informando o domínio e o que deseja, seja a exclusão total, seja um limite de ritmo ou de caminhos. Atendemos o pedido e retiramos o domínio da nossa lista de leitura.