🤖 Gerador Robots.txt

Crie um ficheiro robots.txt para controlar como os crawlers indexam o seu site.

O que é o ficheiro Robots.txt?

O robots.txt é um ficheiro de texto simples que reside na raiz do seu site. Ele serve como um manual de instruções para os motores de busca, indicando quais as partes do site que eles devem rastejar e quais devem ignorar. É a primeira coisa que um robô do Google procura ao visitar o seu domínio.

FAQ sobre Robots.txt

O Robots.txt esconde a minha página do Google?

Não exatamente. Ele impede que o Googlebot rasteje o conteúdo, mas a página pode continuar a aparecer nos resultados de pesquisa se houver links externos a apontar para ela. Para esconder totalmente, deve usar a meta tag "noindex".

Onde devo colocar este ficheiro?

O ficheiro deve ser guardado com o nome exato "robots.txt" e colocado na pasta raiz do seu servidor (ex: utilkit.online/robots.txt).