Har du n\u00e5gonsin undrat hur s\u00f6kmotorer indexerar din webbplats och m\u00e4ter din SEO<\/a>? De g\u00f6r det med ett automatiserat program som kallas en spindel, \u00e4ven k\u00e4nd som en robot eller s\u00f6krobot. Spindlar genoms\u00f6ker webben, bes\u00f6ker webbplatser och loggar allt ditt inneh\u00e5ll.<\/p>\n Google anv\u00e4nder dem f\u00f6r att best\u00e4mma hur de ska ranka och placera din webbplats i s\u00f6kresultaten, h\u00e4mta utdrag fr\u00e5n dina artiklar till s\u00f6kresultatsidan och h\u00e4mta dina bilder till Google Images.<\/p>\n N\u00e4r du kryssar i ”f\u00f6rhindra s\u00f6kmotorer fr\u00e5n att indexera denna webbplats” \u00e4ndrar WordPress din robots.txt-fil<\/a> (en fil som ger instruktioner till spindlar om hur de ska genoms\u00f6ka din webbplats). Det kan ocks\u00e5 l\u00e4gga till en metatagg i sidhuvudet som talar om f\u00f6r Google och andra s\u00f6kmotorer att inte indexera n\u00e5got inneh\u00e5ll p\u00e5 hela webbplatsen.<\/p>\n Det h\u00e4r kommer dock endast att f\u00f6rs\u00f6ka avskr\u00e4cka dem: s\u00f6kmotorer har ingen skyldighet att hedra denna beg\u00e4ran, s\u00e4rskilt s\u00f6kmotorer som inte anv\u00e4nder standardsyntaxen robots.txt<\/strong> som Google g\u00f6r.<\/p>\n S\u00f6krobotar kommer fortfarande att kunna hitta din webbplats, men korrekt konfigurerade s\u00f6krobotar kommer att l\u00e4sa din robots.txt<\/strong> och l\u00e4mna sidan utan att indexera inneh\u00e5llet eller visa det i sina s\u00f6kresultat.<\/p>\n Tidigare f\u00f6rhindrade inte det h\u00e4r alternativet i WordPress Google fr\u00e5n att visa din webbplats i s\u00f6kresultaten, bara fr\u00e5n att indexera inneh\u00e5llet. Du kan fortfarande se dina sidor i s\u00f6kresultat med fel som ”ingen information \u00e4r tillg\u00e4nglig f\u00f6r den h\u00e4r sidan” eller ”en beskrivning f\u00f6r detta resultat \u00e4r inte tillg\u00e4nglig p\u00e5 grund av webbplatsens robots.txt.\u201d<\/p>\n Medan Google inte indexerade sidan g\u00f6mde de inte sidan helt heller. Denna anomali ledde till att folk kunde bes\u00f6ka sidor som de inte var avsedda att se. Tack vare WordPress 5.3<\/a> fungerar det nu korrekt, och blockerar b\u00e5de indexering och listning av webbplatsen.<\/p>\n Du kan f\u00f6rest\u00e4lla dig hur detta skulle f\u00f6rst\u00f6ra din SEO om du aktiverat det av en slump. Det \u00e4r viktigt att anv\u00e4nda det h\u00e4r alternativet om du verkligen inte vill att n\u00e5gon ska se ditt inneh\u00e5ll \u2013 och ens d\u00e5 kanske det inte \u00e4r den enda \u00e5tg\u00e4rden du borde ta.<\/p>\n Webbplatser g\u00f6rs f\u00f6r att ses av m\u00e4nniskor. Du vill att anv\u00e4ndarna ska l\u00e4sa dina artiklar, k\u00f6pa dina produkter, konsumera ditt inneh\u00e5ll \u2013 varf\u00f6r skulle du avsiktligt f\u00f6rs\u00f6ka blockera s\u00f6kmotorer?<\/p>\n Det finns n\u00e5gra anledningar till att du kanske vill d\u00f6lja en del eller hela din webbplats.<\/p>\n Det finns b\u00e4ttre l\u00f6sningar f\u00f6r n\u00e5gra av dessa \u2013 anv\u00e4nda en ordentlig offline utvecklingsserver<\/a>, g\u00f6ra dina artiklar privata<\/a>, eller g\u00f6mma dem bakom ett l\u00f6senord \u2013 men det finns legitima sk\u00e4l till att du kanske vill avindexera delar eller hela din webbplats.<\/p>\n \u00c4ven om du kan ha legitima sk\u00e4l att avindexera din webbplats kan det vara en hemsk chock att m\u00e4rka att du har aktiverat den h\u00e4r inst\u00e4llningen oavsiktligt eller l\u00e5tit den vara p\u00e5 av misstag. Om du f\u00e5r noll trafik<\/a> och misst\u00e4nker att din webbplats inte indexeras kan du bekr\u00e4fta det s\u00e5 h\u00e4r:<\/p>\n Ett enkelt s\u00e4tt \u00e4r att kolla Sammanfattnings<\/strong>-rutan p\u00e5 startsk\u00e4rmen i adminpanelen. Logga bara in p\u00e5 din backend och titta i den rutan. Om du ser ”s\u00f6kmotorer f\u00f6rhindras”, d\u00e5 vet du att du har aktiverat den inst\u00e4llningen.<\/p>\n Ett \u00e4nnu mer tillf\u00f6rlitligt s\u00e4tt \u00e4r att kontrollera din robots.txt<\/strong>. Du kan enkelt verifiera detta i webbl\u00e4saren utan att ens logga in p\u00e5 din webbplats.<\/p>\n F\u00f6r att kolla robots.txt<\/strong> beh\u00f6ver du bara l\u00e4gga till Om du ser Om du ser Nu n\u00e4r WordPress anv\u00e4nder metataggar snarare \u00e4n robots.txt<\/strong> f\u00f6r att avindexera din webbplats b\u00f6r du \u00e4ven kontrollera ditt sidhuvud<\/a> f\u00f6r \u00e4ndringar.<\/p>\n Logga in p\u00e5 din backend och g\u00e5 till Utseende <\/strong>> Temaredigeraren<\/strong>. Hitta Temats sidhuvud (header.php)<\/strong> och leta efter f\u00f6ljande kod:<\/p>\n Du kan ocks\u00e5 kontrollera functions.php<\/strong> efter Om du hittar den h\u00e4r koden i dina temafiler indexeras inte din webbplats av Google. Men i st\u00e4llet f\u00f6r att ta bort det manuellt, l\u00e5t oss f\u00f6rs\u00f6ka st\u00e4nga av den ursprungliga inst\u00e4llningen f\u00f6rst.<\/p>\n Om du vill hoppa \u00f6ver de extra stegen och g\u00e5 direkt till den ursprungliga inst\u00e4llningen kan du aktivera eller inaktivera alternativet ”f\u00f6rhindra s\u00f6kmotorer” i WordPress s\u00e5 h\u00e4r:<\/p>\n Logga in p\u00e5 din WordPress-panel<\/a> och navigera till Inst\u00e4llningar <\/strong>> L\u00e4sning<\/strong>. Leta efter alternativet Synlighet f\u00f6r s\u00f6kmotorer<\/strong> med en kryssruta m\u00e4rkt ”f\u00f6rhindra s\u00f6kmotorer fr\u00e5n att indexera denna webbplats.\u201d<\/p>\n Om du uppt\u00e4cker att detta redan \u00e4r p\u00e5 och du vill att din webbplats ska indexeras, avmarkera rutan. Om du ska f\u00f6rhindra att din webbplats indexeras, markera den den(och skriv ner en p\u00e5minnelse n\u00e5gonstans om att st\u00e4nga av den senare!).<\/p>\n Klicka nu p\u00e5 Spara \u00c4ndringar,<\/strong> och du \u00e4r klar. Det kan ta lite tid f\u00f6r din webbplats att bli omindexerad eller tas bort fr\u00e5n s\u00f6kresultaten.<\/p>\n Om din webbplats fortfarande inte indexeras kan du ocks\u00e5 ta bort noindex-koden fr\u00e5n din header-fil eller manuellt redigera robots.txt<\/strong> f\u00f6r att ta bort flaggan ”Disallow”.<\/p>\n Det h\u00e4r \u00e4r enkelt, men vad finns det f\u00f6r anledningar till att undvika det h\u00e4r alternativet, eller \u00e5tminstone inte lita helt p\u00e5 det?<\/p>\n Det verkar enkelt \u2013 markera en kryssruta och ingen kommer att kunna se din webbplats. R\u00e4cker inte det? Varf\u00f6r borde du undvika att anv\u00e4nda endast det h\u00e4r alternativet?<\/p>\n N\u00e4r du sl\u00e5r p\u00e5 den h\u00e4r inst\u00e4llningen eller ett liknande alternativ l\u00e4gger det bara till en tagg i ditt sidhuvud eller din robots.txt<\/strong>. I \u00e4ldre versioner av WordPress kan vi se att de fortfarande till\u00e5ter din webbplats att listas i s\u00f6kresultat, och en liten glitch eller annat fel<\/a> kan resultera i att folk ser vad du tror \u00e4r dina dolda sidor.<\/p>\n Dessutom \u00e4r det helt upp till s\u00f6kmotorer att hedra beg\u00e4ran att inte genoms\u00f6ka din webbplats. Stora s\u00f6kmotorer som Google och Bing brukar g\u00f6ra det, men inte alla s\u00f6kmotorer anv\u00e4nder samma robots.txt<\/strong>-syntax, och inte alla spindlar som genoms\u00f6ker webben skickas ut av s\u00f6kmotorer<\/a>.<\/p>\n En tj\u00e4nst som anv\u00e4nder sig av s\u00f6krobotar \u00e4r till exempel Wayback Machine<\/a>. Och om ditt inneh\u00e5ll indexeras av en s\u00e5dan tj\u00e4nst finns det p\u00e5 webben f\u00f6r alltid.<\/p>\n Du kanske t\u00e4nker att bara f\u00f6r att din helt nya webbplats inte har n\u00e5gra l\u00e4nkar som leder till den \u00e4r den trygg fr\u00e5n spindlar, men det \u00e4r inte sant. Att finnas p\u00e5 en delad server, skicka ett e-postmeddelande med en l\u00e4nk till din webbplats, eller ens att bes\u00f6ka din webbplats i en webbl\u00e4sare (s\u00e4rskilt Chrome) kan \u00f6ppna din webbplats f\u00f6r genoms\u00f6kning.<\/p>\n Om du vill d\u00f6lja inneh\u00e5ll \u00e4r det helt enkelt inte en bra id\u00e9 att l\u00e4gga till en parameter och hoppas att det kommer r\u00e4cka.<\/p>\n Och l\u00e5t oss vara tydliga, om inneh\u00e5llet du avindexerar \u00e4r k\u00e4nsligt eller personligt<\/a> borde du absolut inte lita p\u00e5 robots.txt<\/strong> eller en metatagg f\u00f6r att d\u00f6lja det.<\/p>\n Sist men inte minst, detta alternativ kommer helt d\u00f6lja din webbplats fr\u00e5n s\u00f6kmotorer, medan du m\u00e5nga g\u00e5nger bara vill avindexera vissa sidor.<\/p>\n S\u00e5 vad borde du g\u00f6ra i st\u00e4llet f\u00f6r, eller tillsammans med, den h\u00e4r metoden?<\/p>\n Medan det alternativ som tillhandah\u00e5lls av WordPress brukar r\u00e4cka, \u00e4r det f\u00f6r vissa situationer ofta b\u00e4ttre att anv\u00e4nda andra metoder f\u00f6r att d\u00f6lja inneh\u00e5ll. \u00c4ven Google sj\u00e4lva s\u00e4ger att du inte borde anv\u00e4nda robots.txt f\u00f6r att d\u00f6lja sidor<\/a>.<\/p>\n S\u00e5 l\u00e4nge din webbplats har ett dom\u00e4nnamn<\/a> och finns p\u00e5 en offentlig server finns det inget s\u00e4tt att garantera att ditt inneh\u00e5ll inte kommer att ses eller indexeras av s\u00f6krobotar om du inte tar bort det eller d\u00f6ljer det bakom ett l\u00f6senord eller inloggningskrav.<\/p>\n Som sagt, vilka b\u00e4ttre s\u00e4tt att d\u00f6lja din webbplats eller vissa sidor finns det?<\/p>\n Medan det fungerar ungef\u00e4r likadant som att helt enkelt anv\u00e4nda alternativet ”F\u00f6rhindra s\u00f6kmotorer” kan du manuellt anv\u00e4nda .htaccess<\/strong> f\u00f6r att blockera indexering av din webbplats.<\/p>\n Du m\u00e5ste anv\u00e4nda ett FTP\/SFTP-program<\/a> f\u00f6r att komma \u00e5t din webbplats och \u00f6ppna .htaccess-filen<\/a>, som vanligtvis finns i rotmappen (den f\u00f6rsta mappen du ser n\u00e4r du \u00f6ppnar din webbplats) eller i public_html<\/strong>. L\u00e4gg till den h\u00e4r koden i filen och spara:<\/p>\n Obs! den h\u00e4r metoden fungerar bara f\u00f6r Apache-servrar. Nginx-servrar, som de vi anv\u00e4nder p\u00e5 Kinsta, m\u00e5ste l\u00e4gga till den h\u00e4r koden till .conf<\/strong>-filen i st\u00e4llet, som kan hittas i \/etc\/nginx\/<\/strong> (du kan hitta ett exempel p\u00e5 metatagg-anv\u00e4ndningen<\/a> h\u00e4r):<\/p>\n Om du har vissa artiklar eller sidor som du inte vill att s\u00f6kmotorer ska indexera \u00e4r det b\u00e4st att d\u00f6lja dem genom att l\u00f6senordskydda din webbplats<\/a>. P\u00e5 s\u00e5 s\u00e4tt kan bara du och de anv\u00e4ndare du v\u00e4ljer se det inneh\u00e5llet.<\/p>\n Lyckligtvis \u00e4r denna funktionalitet inbyggd i WordPress s\u00e5 det finns ingen anledning att installera n\u00e5gra plugin. Bara g\u00e5 till Inl\u00e4gg och sidor<\/strong> och klicka p\u00e5 den du vill d\u00f6lja. Redigera din sida och leta efter Status och synlighet <\/strong>> Synlighet<\/strong> p\u00e5 h\u00f6ger sida.<\/p>\n Om du inte anv\u00e4nder Gutenberg ser processen likadan ut. Du hittar samma meny i Publicera<\/strong>-rutan.<\/p>\n \u00c4ndra Synlighet<\/strong> till L\u00f6senordskyddad<\/strong> och ange ett l\u00f6senord, spara sedan \u2013 och ditt inneh\u00e5ll \u00e4r nu dolt fr\u00e5n allm\u00e4nheten.<\/p>\n Vad g\u00e4ller om du vill l\u00f6senordskydda hela din webbplats? Det \u00e4r inte praktiskt att kr\u00e4va ett l\u00f6senord f\u00f6r varje enskild sida.<\/p>\n Kinsta-anv\u00e4ndare har tur: du kan aktivera l\u00f6senordsskydd i Webbplatser <\/strong>> Verktyg<\/strong>, som kr\u00e4ver b\u00e5de anv\u00e4ndarnamn och l\u00f6senord.<\/p>\n Annars kan du anv\u00e4nda ett inneh\u00e5llsbegr\u00e4nsningsplugin<\/a> (ex. Password Protected<\/a>). Installera och aktivera det, g\u00e5 sedan till Inst\u00e4llningar <\/strong>> Password Protected<\/strong> och aktivera l\u00f6senordsskydd-statusen<\/strong>. Detta ger dig mer kontroll, och l\u00e5ter dig ocks\u00e5 vitlista vissa IP-adresser.<\/p>\nVad betyder ”f\u00f6rhindra s\u00f6kmotorer fr\u00e5n att indexera denna webbplats”?<\/h2>\n
Varf\u00f6r du kanske inte vill indexera din webbplats<\/h3>\n
\n
S\u00e5 h\u00e4r kontrollerar du om din webbplats blockar s\u00f6kmotorer<\/h2>\n
![\"WordPresspanelen](\"https:\/\/kinqsta.com\/wp-content\/uploads\/2021\/07\/at-a-glance-search-engines-discouraged.png\")
\/robots.txt<\/code> till slutet av din webbplats URL. Till exempel: https:\/\/kinqsta.com\/robots.txt<\/code><\/p>\nDisallow: \/<\/code> blockeras hela webbplatsen fr\u00e5n att indexeras.<\/p>\n![\"\"Disallow\"](\"https:\/\/kinqsta.com\/wp-content\/uploads\/2021\/07\/kinsta-robots-txt.png\")
Disallow:<\/code> f\u00f6ljt av en URL-s\u00f6kv\u00e4g, som Disallow: \/wp-admin\/<\/code> betyder det alla webbadresser<\/a> med \/wp-admin\/<\/code> i s\u00f6kv\u00e4gen blockeras. Denna struktur \u00e4r normal f\u00f6r vissa sidor, men om den till exempel blockerar \/blog\/<\/code> som har sidor du vill indexera kan det orsaka problem!<\/p>\n<meta name='robots' content='noindex,nofollow' \/><\/code><\/pre>\n![\"noindex,](\"https:\/\/kinqsta.com\/wp-content\/uploads\/2021\/07\/header-php-meta-tag.jpg\")
noindex<\/code>-taggen, eftersom det \u00e4r m\u00f6jligt att inf\u00f6ra kod i sidhuvudet p\u00e5 distans genom den h\u00e4r filen.<\/p>\nS\u00e5 f\u00f6rhindrar du s\u00f6kmotorer fr\u00e5n att indexera i WordPress<\/h2>\n
![\"S\u00f6kmotorsynlighet,](\"https:\/\/kinqsta.com\/wp-content\/uploads\/2021\/07\/discourage-search-engines.png\")
Nackdelar med att anv\u00e4nda alternativet F\u00f6rhindra s\u00f6kmotorer<\/h3>\n
![\"Wayback](\"https:\/\/kinqsta.com\/wp-content\/uploads\/2021\/07\/wayback-machine.png\")
Andra s\u00e4tt att f\u00f6rhindra s\u00f6kmotorindexering<\/h2>\n
Blockera s\u00f6kmotorer med .htaccess<\/h3>\n
Header set X-Robots-Tag \"noindex, nofollow\"<\/code><\/pre>\nadd_header X-Robots-Tag \"noindex, nofollow\";<\/code><\/pre>\nL\u00f6senordskydda k\u00e4nsliga sidor<\/h3>\n
![\"St\u00e4lla](\"https:\/\/kinqsta.com\/wp-content\/uploads\/2021\/07\/password-protect-post.jpg\")