Voc\u00ea j\u00e1 se perguntou como os mecanismos de pesquisa indexam o seu site e medem o seu SEO<\/a>? Eles o fazem com um programa automatizado chamado de aranha, tamb\u00e9m conhecido como rob\u00f4 ou rastejador. Os rastreadores “rastreiam” a web, visitando sites e registrando todo o seu conte\u00fado.<\/p>\n O Google os utiliza para decidir como classificar e colocar seu website nos resultados da busca, pegar borr\u00f5es de seus artigos para a p\u00e1gina de resultados da pesquisa e puxar suas imagens para o Google Images.<\/p>\n Quando voc\u00ea assinala “Evitar que mecanismos de pesquisa indexe este site”, o WordPress modifica seu arquivo robots.txt<\/a> (um arquivo que d\u00e1 instru\u00e7\u00f5es aos rastreadore sobre como rastrear o seu site). Ele tamb\u00e9m pode adicionar uma meta tag ao cabe\u00e7alho de seu site que diz ao Google e a outros mecanismos de pesquisa para n\u00e3o indexar nenhum conte\u00fado em todo o seu site.<\/p>\n A palavra-chave aqui \u00e9 “evitar”: Os mecanismo de pesquisa n\u00e3o t\u00eam obriga\u00e7\u00e3o de honrar este pedido, especialmente os mecanismo de pesquisa que n\u00e3o usam a sintaxe padr\u00e3o robots.txt <\/strong>que o Google faz.<\/p>\n Web crawlers (rastreadores webs) ainda ser\u00e3o capazes de encontrar o seu site, mas rastreadores devidamente configurados ir\u00e3o ler o seu robots.txt <\/strong>e sair sem indexar o conte\u00fado ou mostr\u00e1-lo em seus resultados de pesquisa.<\/p>\n No passado, esta op\u00e7\u00e3o no WordPress n\u00e3o impedia o Google de mostrar seu site nos resultados de pesquisa, apenas de indexar seu conte\u00fado. Voc\u00ea ainda podia ver suas p\u00e1ginas aparecerem nos resultados de pesquisa com um erro como “Nenhuma informa\u00e7\u00e3o est\u00e1 dispon\u00edvel para esta p\u00e1gina” ou “Uma descri\u00e7\u00e3o para este resultado n\u00e3o est\u00e1 dispon\u00edvel devido ao robots.txt do site”.<\/p>\n Embora o Google n\u00e3o estivesse indexando a p\u00e1gina, eles tamb\u00e9m n\u00e3o esconderam a p\u00e1gina por completo. Esta anomalia fez com que as pessoas pudessem visitar p\u00e1ginas que n\u00e3o deveriam ver. Gra\u00e7as ao WordPress 5.3<\/a>, ele agora funciona corretamente, bloqueando tanto a indexa\u00e7\u00e3o quanto a listagem do site.<\/p>\n Voc\u00ea pode imaginar como isto destruiria seu SEO se voc\u00ea a ativasse por acidente. \u00c9 fundamental usar esta op\u00e7\u00e3o apenas se voc\u00ea realmente n\u00e3o quiser que ningu\u00e9m veja seu conte\u00fado – e mesmo assim, pode n\u00e3o ser a \u00fanica medida que voc\u00ea quer tomar.<\/p>\n Os sites s\u00e3o feitos para serem vistos pelas pessoas. Voc\u00ea quer que os usu\u00e1rios leiam seus artigos, comprem seus produtos, consumam seu conte\u00fado – por que voc\u00ea tentaria intencionalmente bloquear os mecanismos de pesquisa?<\/p>\n H\u00e1 algumas raz\u00f5es pelas quais voc\u00ea pode querer esconder parte ou seu site inteiro.<\/p>\n Existem solu\u00e7\u00f5es melhores para alguns deles – usando um servidor de desenvolvimento offline adequado<\/a>, colocando seus artigos em privado<\/a> ou colocando-os atr\u00e1s de uma senha – mas existem raz\u00f5es leg\u00edtimas pelas quais voc\u00ea pode querer desindexar parte ou todo o seu site.<\/p>\n Embora voc\u00ea possa ter raz\u00f5es leg\u00edtimas para desindexar seu site, pode ser um choque horr\u00edvel saber que voc\u00ea ativou este ajuste sem sentido ou o deixou ativado por acidente. Se voc\u00ea est\u00e1 recebendo tr\u00e1fego zero<\/a> e suspeita que o seu site n\u00e3o est\u00e1 sendo indexado, aqui est\u00e1 como confirmar.<\/p>\n Uma maneira simples \u00e9 verificar a caixa At a Glance <\/strong>localizada na tela inicial do seu painel de controle. Basta entrar em seu backend e marcar a caixa. Se voc\u00ea ver “Search Engines Discouraged”, ent\u00e3o voc\u00ea sabe que ativou essa configura\u00e7\u00e3o.<\/p>\n Uma maneira ainda mais confi\u00e1vel \u00e9 verificar seu robots.txt<\/strong>. Voc\u00ea pode verificar isto facilmente no navegador sem mesmo fazer login em seu site.<\/p>\n Para verificar robots.txt<\/strong>, tudo o que voc\u00ea precisa fazer \u00e9 adicionar Se voc\u00ea ver Se voc\u00ea ver Agora que o WordPress usa meta tags em vez de robots.txt <\/strong>para deindexar seu site, voc\u00ea tamb\u00e9m deve verificar seu cabe\u00e7alho<\/a> para modifica\u00e7\u00f5es.<\/p>\n Entre em seu backend e v\u00e1 para Appearance <\/strong>> Theme Editor<\/strong>. Encontre Theme Header<\/strong>\u00a0(header.php) <\/strong>e procure o seguinte c\u00f3digo:<\/p>\n Voc\u00ea tamb\u00e9m pode verificar o functions.php <\/strong>para a tag Se voc\u00ea encontrar este c\u00f3digo em seus arquivos tem\u00e1ticos, ent\u00e3o seu site n\u00e3o est\u00e1 sendo indexado pelo Google. Mas ao inv\u00e9s de remov\u00ea-lo manualmente, vamos tentar primeiro desativar a configura\u00e7\u00e3o original.<\/p>\n Se voc\u00ea quiser pular as etapas extras e ir direto para a configura\u00e7\u00e3o original, aqui est\u00e1 como ativar ou desativar a op\u00e7\u00e3o “Evitar que mecanismos de pesquisa indexe este site” no WordPress.<\/p>\n Acesse seu painel de controle do WordPress<\/a> e navegue at\u00e9 Configura\u00e7\u00f5es <\/strong>> Leitura. Procure<\/strong> a op\u00e7\u00e3o de Visibilidade do mecanismo de busca\/pesquisa <\/strong>com uma caixa de sele\u00e7\u00e3o rotulada “Evitar que mecanismos de busca\/pesquisa indexe este site”.<\/p>\n Se voc\u00ea descobrir que isso j\u00e1 est\u00e1 acontecendo e quiser que seu site seja indexado, ent\u00e3o desmarque-o. Se voc\u00ea vai impedir que seu site seja indexado, verifique (e anote em algum lugar uma nota lembrando-o de desativar mais tarde!).<\/p>\n Agora clique em Salvar mudan\u00e7as, <\/strong>e voc\u00ea estar\u00e1 pronto. Pode levar algum tempo para que seu site seja reindexado ou para que ele seja retirado dos resultados de pesquisa.<\/p>\n Se seu site ainda estiver desindexado, voc\u00ea tamb\u00e9m pode remover o c\u00f3digo Ent\u00e3o isso \u00e9 simples, mas quais s\u00e3o algumas raz\u00f5es pelas quais voc\u00ea deve evitar essa op\u00e7\u00e3o, ou pelo menos n\u00e3o confiar inteiramente nela?<\/p>\n Parece simples – assinale uma caixa de sele\u00e7\u00e3o e ningu\u00e9m poder\u00e1 ver seu site. Isso n\u00e3o \u00e9 bom o suficiente? Por que voc\u00ea deve evitar usar esta op\u00e7\u00e3o por conta pr\u00f3pria?<\/p>\n Quando voc\u00ea liga esta configura\u00e7\u00e3o ou qualquer op\u00e7\u00e3o como esta, tudo o que faz \u00e9 adicionar uma tag ao seu cabe\u00e7alho ou ao seu robots.txt<\/strong>. Como mostrado pelas vers\u00f5es mais antigas do WordPress ainda permitindo que seu site seja listado nos resultados de pesquisa, uma pequena falha ou outro erro<\/a> pode fazer com que as pessoas vejam suas p\u00e1ginas supostamente ocultas.<\/p>\n Al\u00e9m disso, cabe inteiramente aos mecanismo de pesquisa honrar o pedido de n\u00e3o rastrear o seu site. Os principais mecanismo de pesquisa como Google e Bing normalmente o far\u00e3o, mas nem todos os mecanismo de pesquisa usam a mesma sintaxe robots.txt<\/strong>, e nem todos os rastreadores\u00a0 da web s\u00e3o enviadas pelos mecanismos de pesquisa<\/a>.<\/p>\n Por exemplo, um servi\u00e7o que faz uso de rastreadores de web \u00e9 a Wayback Machine<\/a>. E seu conte\u00fado \u00e9 indexado por tal servi\u00e7o, ele est\u00e1 na web para sempre.<\/p>\n Voc\u00ea pode pensar que s\u00f3 porque seu novo site n\u00e3o tem links para ele, ele est\u00e1 a salvo de rastreadores, mas isso n\u00e3o \u00e9 verdade. Existindo em um servidor compartilhado, enviar um e-mail com um link para seu site, ou mesmo visitar seu site em um navegador (especialmente o Chrome) pode abrir o seu site at\u00e9 ser rastreado.<\/p>\n Se voc\u00ea quiser esconder conte\u00fado, n\u00e3o \u00e9 uma boa id\u00e9ia adicionar um par\u00e2metro e esperar que ele fa\u00e7a o truque.<\/p>\n E sejamos claros, se o conte\u00fado que voc\u00ea est\u00e1 desindexando \u00e9 de natureza sens\u00edvel ou pessoal<\/a>, voc\u00ea n\u00e3o deve absolutamente confiar no robots.txt <\/strong>ou numa meta tag para escond\u00ea-lo.<\/p>\n Por \u00faltimo, mas n\u00e3o menos importante, esta op\u00e7\u00e3o esconder\u00e1 totalmente seu site dos mecanismos de pesquisa, enquanto muitas vezes voc\u00ea s\u00f3 quer desindexar certas p\u00e1ginas.<\/p>\n Ent\u00e3o o que voc\u00ea deveria estar fazendo ao inv\u00e9s de ou ao lado deste m\u00e9todo?<\/p>\n Embora a op\u00e7\u00e3o fornecida pelo WordPress geralmente fa\u00e7a seu trabalho, para certas situa\u00e7\u00f5es, muitas vezes \u00e9 melhor empregar outros m\u00e9todos de esconder conte\u00fado. At\u00e9 mesmo o pr\u00f3prio Google diz para n\u00e3o usar robots.txt para esconder p\u00e1ginas<\/a>.<\/p>\n Enquanto o seu site tiver um nome de dom\u00ednio<\/a> e estiver em um servidor de interface p\u00fablica, n\u00e3o h\u00e1 como garantir que seu conte\u00fado n\u00e3o ser\u00e1 visto ou indexado por rastreadores a menos que voc\u00ea o exclua ou esconda atr\u00e1s de uma senha ou requisito de login.<\/p>\n Dito isto, quais s\u00e3o as melhores maneiras de esconder seu site ou certas p\u00e1ginas nele?<\/p>\n Embora sua implementa\u00e7\u00e3o seja funcionalmente a mesma que simplesmente usar a op\u00e7\u00e3o “Evitar mecanismos de busca\/pesquisa”, voc\u00ea pode desejar usar manualmente o .htaccess <\/strong>para bloquear a indexa\u00e7\u00e3o do seu site.<\/p>\n Voc\u00ea precisar\u00e1 usar um programa FTP\/SFTP<\/a> para acessar seu site e abrir o arquivo .htaccess<\/a>, geralmente localizado na pasta raiz (a primeira pasta que voc\u00ea v\u00ea quando abre o seu site) ou em public_html<\/strong>. Acrescente este c\u00f3digo ao arquivo e salve:<\/p>\n Nota: Este m\u00e9todo s\u00f3 funciona para servidores Apache. Os servidores NGINX, como os que rodam no Kinsta, precisar\u00e3o adicionar este c\u00f3digo ao arquivo .conf<\/strong>, que pode ser encontrado em \/etc\/nginx\/ <\/strong>(voc\u00ea pode encontrar um exemplo de implementa\u00e7\u00e3o de meta tags<\/a> aqui):<\/p>\n Se h\u00e1 certos artigos ou p\u00e1ginas que voc\u00ea n\u00e3o quer que os mecanismos de pesquisa indexem, a melhor maneira de escond\u00ea-los \u00e9 proteger seu site com senha<\/a>. Dessa forma, somente voc\u00ea e os usu\u00e1rios que voc\u00ea deseja poder\u00e3o ver esse conte\u00fado.<\/p>\n Felizmente, esta funcionalidade est\u00e1 integrada no WordPress, portanto n\u00e3o h\u00e1 necessidade de instalar nenhum plugin. Basta ir para Artigos <\/strong>ou P\u00e1ginas <\/strong>e clicar no que voc\u00ea quer esconder. Edite sua p\u00e1gina e procure pelo menu Status e Visibilidade <\/strong>> Visibilidade, <\/strong>no lado direito.<\/p>\n Se voc\u00ea n\u00e3o estiver usando Gutenberg, o processo \u00e9 semelhante. Voc\u00ea pode encontrar o mesmo menu na caixa Publicar.<\/strong><\/p>\n Altere a Visibilidade <\/strong>para Protegida por senha <\/strong>e insira uma senha, depois salve – e seu conte\u00fado agora ser\u00e1 escondida do p\u00fablico em geral.<\/p>\n E se voc\u00ea quiser proteger o seu site inteiro com senha? N\u00e3o \u00e9 pr\u00e1tico exigir uma senha para cada p\u00e1gina.<\/p>\n Os usu\u00e1rios Kinsta est\u00e3o com sorte: Voc\u00ea pode habilitar a prote\u00e7\u00e3o por senha em Sites <\/strong>> Ferramentas, <\/strong>exigindo tanto um nome de usu\u00e1rio quanto uma senha.<\/p>\n Caso contr\u00e1rio, voc\u00ea pode usar um plugin de restri\u00e7\u00e3o de conte\u00fado<\/a> (por exemplo, protegido por senha<\/a>). Por favor, instale-o e ative-o, depois v\u00e1 para Configura\u00e7\u00f5es <\/strong>> Senha Protegida <\/strong>e ative o Status Protegido por Senha.<\/strong> Isto lhe d\u00e1 um controle mais preciso, permitindo at\u00e9 mesmo que voc\u00ea fa\u00e7a uma lista branca de certos endere\u00e7os IP.<\/p>\nO que significa “Evitar que mecanismos de pesquisa indexe este site”?<\/h2>\n
Por que voc\u00ea pode n\u00e3o querer indexar o seu site<\/h3>\n
\n
Como verificar se o seu site est\u00e1 evitando os mecanismos de pesquisa<\/h2>\n
![\"\"Search](\"https:\/\/kinqsta.com\/wp-content\/uploads\/2021\/07\/at-a-glance-search-engines-discouraged.png\")
\/robots.txt<\/code> ao final da URL do seu site. Por exemplo: https:\/\/kinqsta.com\/robots.txt<\/code><\/p>\nDisallow: \/<\/code> ent\u00e3o seu site inteiro est\u00e1 sendo bloqueado da indexa\u00e7\u00e3o.<\/p>\n![\"\"Disallow\"](\"https:\/\/kinqsta.com\/wp-content\/uploads\/2021\/07\/kinsta-robots-txt.png\")
Disallow:<\/code> seguido por um caminho URL, como Disallow: \/wp-admin\/<\/code>, isso significa que qualquer URL<\/a> com o caminho \/wp-admin\/<\/code> est\u00e1 sendo bloqueada. Esta estrutura \u00e9 normal para algumas p\u00e1ginas, mas se, por exemplo, est\u00e1 bloqueando \/blog\/<\/code> que tem p\u00e1ginas que voc\u00ea quer indexar, isso pode causar problemas!<\/p>\n<meta name='robots' content='noindex,nofollow' \/><\/code><\/pre>\n![\"noindex,](\"https:\/\/kinqsta.com\/wp-content\/uploads\/2021\/07\/header-php-meta-tag.jpg\")
noindex<\/code>, pois \u00e9 poss\u00edvel inserir o c\u00f3digo remotamente no cabe\u00e7alho atrav\u00e9s deste arquivo.<\/p>\nComo evitar que mecanismos de pesquisa indexem no WordPress<\/h2>\n
![\"Caixa](\"https:\/\/kinqsta.com\/wp-content\/uploads\/2021\/07\/discourage-search-engines.png\")
noindex<\/code> do seu arquivo de cabe\u00e7alho, ou editar manualmente o robot.txt <\/strong>para remover a bandeira “Disallow”.<\/p>\nDesvantagens de usar a op\u00e7\u00e3o “Evitar que mecanismos de pesquisa indexe este site”<\/h3>\n
![\"Wayback](\"https:\/\/kinqsta.com\/wp-content\/uploads\/2021\/07\/wayback-machine.png\")
Outras formas de evitar a indexa\u00e7\u00e3o nos mecanismo de pesquisa<\/h2>\n
Mecanismo de pesquisa de blocos com .htaccess<\/h3>\n
Header set X-Robots-Tag \"noindex, nofollow\"<\/code><\/pre>\nadd_header X-Robots-Tag \"noindex, nofollow\";<\/code><\/pre>\nP\u00e1ginas sens\u00edveis protegidas por senha<\/h3>\n
![\"Coloca\u00e7\u00e3o](\"https:\/\/kinqsta.com\/wp-content\/uploads\/2021\/07\/password-protect-post.jpg\")