Google Crawlability och Indexability är de två viktigaste faktorerna som avgör hur väl din WordPress-webbplats kommer att rankas i sökmotorerna. Om din webbplats inte är krypningsbar för Google kommer den inte att indexeras och visas inte i sökmotorresultaten. Om din webbplats inte kan indexeras av Google kommer den inte att kunna rankas för några nyckelord.
Det första steget för att se till att din WordPress-webbplats är krypningsbar och indexerbar för Google är att skapa en webbplatskarta. En sitemap är en fil som talar om för Google vilka sidor som finns på din webbplats och i vilken ordning de ska vara. Du kan skapa en sitemap manuellt eller så kan du använda ett plugin som Yoast SEO för att automatiskt skapa en sådan åt dig.
När du har en sitemap är nästa steg att se till att alla dina sidor indexeras av Google. Det kan du göra genom att använda Google Search Console för att skicka in din sitemap. Du kan också använda verktyget Fetch as Google för att testa om Google kan kryssa och indexera en viss sida på din webbplats.
Det sista steget för att se till att Google kan crawla och indexera din WordPress-webbplats ordentligt är att se till att det inte finns några fel i din Robots.txt-fil. Robots.txt-filen talar om för Google vilka sidor på din webbplats som Google inte ska gå igenom. Om det finns några fel i din robots.txt-fil kan det hända att Google inte kan crawla och indexera din webbplats på rätt sätt.
Att se till att din WordPress-webbplats är krypningsbar och indexerbar för Google är viktigt för att du ska kunna rankas bra i sökmotorerna. Genom att följa stegen ovan kan du se till att din webbplats indexeras korrekt och rankas högt i sökmotorresultaten.
De många tekniska sätten att påverka krypningen och indexeringen av din webbplats kan vara förvirrande, särskilt när tekniker används tillsammans. I den här artikeln tar jag upp 6 tekniska SEO-aspekter som används för att påverka sökmotorernas indexering.
De 6 tekniska SEO-aspekterna är:
- Robots.txt
- Meta robots
- Canonical-tag -> (Canonical-tag combining with noindex)
- Rel=”next”/”prev” tag -> (Rel=”next”/”prev” tag combine with canonical tag)
- Hreflang tag -> (Hreflang tag combine with canonical tag) / (Hreflang tag combine with rel=”next”/”prev” tag)
- Google Search Console parameters
De fem första aspekterna finns också i ett flödesschema som du hittar längst ner i artikeln. Du kan följa detta flödesschema sida för sida för att få ordning på sidans SEO.
Innan jag börjar vill jag ge en liten varning. Att justera dessa tekniska SEO-aspekter kan få stora konsekvenser. Det rekommenderas att du hanterar detta med försiktighet.
Robots.txt
Robots.txt är en liten textfil som innehåller instruktioner för robotar. Med hjälp av den här filen kan man styra robotar på domännivå att inte söka igenom vissa domäner, kataloger, sidor, filer eller specifika webbadresser. Ofta undantas sökfunktionen på en webbplats från crawling via robots.txt. Detta görs eftersom dessa webbadresser inte önskas i sökresultaten i en sökmotor. Detta beror på att man (ofta) inte kan optimera sökresultatsidan för varje sökfråga.
Observera att instruktionerna i robots.txt är riktlinjer. De är inte skyldigheter för robotar. robots.txt finns alltid direkt efter domäntillägget i webbadressen. Till exempel: https://www.domein.nl/robots.txt. När det gäller en WordPress-webbplats kan robots.txt se ut så här:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.phpSitemap: https://www.domein.nl/sitemap_index.xml
Med Robots.txt kan användaren ge instruktioner för alla robotar eller bara för en viss robot: till exempel bara Googlebot eller Bingbot. Detta anges av ”user-agent” och ser ut så här:
- Användaragent: Googlebot → Hej Googlebot, välkommen till min webbplats. Följande instruktioner är till dig.
- User-agent: Bing → Hej Bingbot, välkommen till min webbplats. Följande instruktioner är avsedda för dig.
- User-agent: * → Hej alla robotar, välkommen till min webbplats. Följande instruktioner är avsedda för dig.
Den sista användaragenten med en ”*” innehåller instruktioner för alla robotar.
Exkludera en enskild sida
Om du inte vill att en sida ska indexeras kan du utesluta den med hjälp av instruktionen ”disallow”. Detta görs på följande sätt:
User-agent: Googlebot Disallow: /Don-tCrawlThisPageExample Hello Googlebot, welcome to my website. You are not allowed to visit page /Don-tCrawlThisPageExample.
Exkludera en mapp
Om du vill utesluta en hel mapp använder du:
User-agent: Googlebot Disallow: /Don-tCrawlThisFolderExample Hello Googlebot, welcome to my website. Folder /Don-tCrawlThisFolderExample/ may not be visited.
Ovanstående text innebär att underliggande sidor inte heller får besökas. Således:
Bye Googlebot, välkommen till min webbplats. Mapp /Don-tCrawlThisFolderExample/Don-tCrawlThisPageInsideTheFolderExample
Tillåt åtkomst
Det finns också en instruktion ”allow”. Med denna anger du när du vill att en sida ska indexeras. Som standard kryper en robot allting, så det är inte nödvändigt att bara lägga till sidor med instruktionen ”allow”. Varför finns instruktionen allow då? Det kan vara så att du inte vill att en viss mapp ska kryssas av en bot, men att något i den mappen tillåts kryssas igen. Du får då följande:
User-agent: Googlebot Disallow: /Don-tCrawlThisFolderExample/ Allow: /Don-tCrawlThisFolderExample/ButCrawlThisPageInsideOfIt Hello Googlebot, welcome to my website. Folder /Don-tCrawlThisFolderExample/ is not allowed to visit but page "/ButCrawlThisPageInsideOfIt" within that folder is.
Blockera webbadresser baserat på tecken
Förutom att blockera hela mappar eller sidor är det också möjligt att blockera webbadresser som innehåller vissa tecken. Detta görs med tecknet ”*”. Om jag lägger till följande i robots.txt blockeras alla webbadresser med ett frågetecken:
User-agent: Googlebot Disallow: /*? Hello Googlebot, welcome to my website. You may not visit all URLs that contain a question mark.
Blockera filer
Slutligen kan du använda dollartecknet ($) för att utesluta webbadresser med samma ändelse. Om du har en mapp med olika typer av filer som du vill blockera endast pdf-filer, lägg till följande:
User-agent: Googlebot Disallow: /*.pdf$ Hello Googlebot, welcome to my website. All URLs ending in .pdf you are not allowed to visit.
Webbplatskarta i Robots.txt
Platsen för webbplatskartan kan också läggas till i Robots.txt. Detta kan hjälpa till att få vissa sidor på webbplatsen bättre indexerade. Webbplatskartan är en översikt över alla sidor på en webbplats.
Du vill egentligen alltid lägga till robots.txt. Särskilt eftersom du kan hänvisa till sitemap i den, vilket kan bidra till att sidor indexeras bättre. Det gör det också möjligt att blockera sidor eller mappar från sökmotorer. Om du inte har robots.txt tillagd kan robotar besöka vad som helst på din webbplats.
Att ställa in robots.txt beror helt och hållet på webbplatsen. Vissa webbplatser ger robotar allt utrymme de behöver, medan andra begränsar besöken. Det är alltid bra att överväga om du vill att alla sidor på din webbplats ska besökas av robotar. När du gör det är det klokt att komma ihåg att blockering av en sida med hjälp av robots.txt inte alltid innebär att sidan inte kommer att indexeras. Om det finns många externa länkar till den sidan kommer sidan att kunna indexeras, men då kommer en sökmotor inte att veta vad som finns på den sidan.
Meta Robotar
Metarobotar är instruktioner som finns i källkoden till din webbsida. Med dessa koder är det möjligt att ge instruktioner till robotar per sida på din webbplats. Du placerar koderna i <head> på din sida.
Instruktioner för de flesta robotar:
<meta name="robots" content="noindex">. Hello bot, welcome to this page. You are not allowed to index this page.
Och för en specifik bot:
<meta name="Googlebot" content="noindex"> Hello Googlebot, welcome to this page. You may not index this page and thus not display it in search results.
Som framgår av koden ovan säger den första metaroboten (noindex) till robotar att sidan inte ska indexeras. Den andra koden instruerar specifikt Googlebot. Metaroboten noindex kan också användas för att undvika dubbelt innehåll. Du kan välja att inte låta en sida indexeras OM den är alltför lik en annan sida.
Det finns fler metarobotar som du kan använda på en webbsida. Jag listar de vanligaste metarobotarna nedan:
Nofollow
Code:<meta name="Googlebot" content="nofollow"> Hello Googlebot, welcome to this page. You may not follow the links listed on this page.
Nosnippet
Code:<meta name="Googlebot" content="nosnippet"> Hello Googlebot, welcome to this page. You may not use the information on this page in the snippet in search results.
Noarchive
Code:<meta name="Googlebot" content="noarchive"> Hello Googlebot, welcome to this page. In the search results, you may not show an 'in cache' option with this link.
Unavailable_after[date]
Code: <meta name="Googlebot" content="unavailable_after:[enter date according to RFC 850 format]"> Hello Googlebot, welcome to this page. After this date, this page may no longer be indexed.
Noimageindex
Detta hindrar en bot från att indexera bilder på en sida.
Code:<meta name="Googlebot" content="noimageindex"> Hello Googlebot, welcome to this page. The images on this page should not be indexed.
None
Detta är en förkortad version av noindex och nofollow tillsammans.
Code:<meta name="Googlebot" content="none"> Hello Googlebot, welcome to this page. This page should not be indexed and the links on this page should not be followed.
Dessa instruktioner kan användas i källkoden för en sida. Nofollow-instruktionen kan också användas för länkar till andra sidor på din webbplats eller andra webbplatser. Du skickar då vidare nofollow-instruktionen till en enskild länk.
Om du vill försäkra dig om att en sida inte kommer att indexeras av en sökmotor är det klokt att både utesluta denna sida i robots.txt och placera en no index-metarobot på sidan.
Kanoniska taggar
Den Kanoniska taggar är ett sätt att undvika dubbelt innehåll och att ange vilken sida som är den viktigaste sidan. Detta förklaras bäst genom ett exempel. Anta att du har en WooCommerce skoaffär och du tittar på alla skor för män: https://www.woocommercemen.com/menshoes. Du hamnar på webbsidan med alla skor för män. Ofta kan du på en sådan sida filtrera efter färg, storlek, märke och fler attribut. Det är också möjligt att rangordna produkterna efter pris och namn. Till exempel: https://www.woocommercemen.com/menshoes?ord=price. Standardsidan har en H1-tagg ”herrskor”, eventuellt flera H2-taggar och en tillhörande text (innehåll).
Om en besökare vill ha en annan produktordning ändras URL:en och du har faktiskt en andra sida. Den andra sidan har samma H1- och H2-taggar och samma innehåll. Du har så att säga standardsidan med alla herrskor och samma sida, med produkter i annan ordning, med samma innehåll: duplicerat innehåll. Genom att använda en kanonisk tagg kan du låta roboten veta vilken originalsidan är.
Lägg in följande kod:
Hej Googlebot, sidan https://www.woocommercemen.com/menshoes/ord=price innehåller samma innehåll som https://www.woocommercemen.com/menshoes, men https://www.woocommercemen.com/menshoes är den sida som ska indexeras.
Detsamma gäller när en produkt faller inom flera kategorier. Detta gäller till exempel i följande fall:
https://www.woocommercemen.com/menshoesG (original)
https://www.woocommercemen.com/sport/menshoesG
https://www.woocommercemen.com/brand/menshoesG
I exemplet ovan finns det tre sidor för produkten menshoeG. I det här fallet är det vettigt att märka en av dessa sidor som originalsida (den sida som har det största värdet, dvs. den viktigaste sidan) och tilldela en kanonisk tagg till denna originalsida till de andra två sidorna:
https://www.woocommercemen.com/menshoesG (original) https://www.woocommercemen.com/sport/menshoesG <link rel="canonical" href="https://www.woocommercemen.com/menshoesG/"> https://www.woocommercemen.com/brand/menshoesG <link rel="canonical" href="https://www.woocommercemen.com/menshoesG/">
Om du inte gör detta vet sökmotorn inte vilken sida på din webbplats som är bäst för detta innehåll och kommer att välja vilken sida som ska indexeras på egen hand. För att undvika detta kan du själv utse en sida som original som ska indexeras. På så sätt behåller du mer kontroll över indexeringen. Du placerar den kanoniska taggen i huvudet på sidan.
Kombinera den kanoniska taggen med noindex
Den kanoniska versionen är alltså ett effektivt sätt att utesluta sidor med duplicerat innehåll från indexering. Tidigare diskuterade medel är noindex- och nofollow-taggarna. Det är inte klokt att använda både en kanonisk tagg och no index-metarobot. I teorin sänder du två signaler genom att göra det. Den kanoniska taggen visar att sidorna är (nästan) identiska. Medan noindex-taggen indikerar att sidorna är långt ifrån identiska. Använd alltså antingen no index-taggen eller den kanoniska taggen.
Rel=”next”/”prev” tag
Om en kategori har många produkter kan den delas upp på flera sidor.
Du kan ange förhållandet mellan detta sidindelade innehåll i källkoden för en webbsida, nämligen i <head>. Den första sidan är (nästan) alltid kategorisidan. Till exempel: https://www.woocommercemen.com/menshoes.
Om jag har 50 par skor i en kategori, med 12 skor per sida, har jag sidorna 1 till 5, som kan se ut så här:
https://www.woocommercemen.com/menshoes
https://www.woocommercemen.com/menshoes/?page=2
https://www.woocommercemen.com/menshoes/?page=3
https://www.woocommercemen.com/menshoes/?page=4
https://www.woocommercemen.com/menshoes/?page=5
Om jag har flera sidor som hör ihop efter varandra kan jag referera till nästa sida i källkoden för /men shoes:https://www.woocommercemen.com/menshoes?page=2
Det gör jag genom att använda följande kod på sidan https://www.woocommercemen.com/menshoesG/:
<link rel="next" href="https://www.woocommercemen.com/menshoes/?page=2">.
När jag är på sida 2 vill jag länka till föregående och nästa sida. I det fallet lägger jag till två kodbitar:
<link rel="prev" href="https://www.woocommercemen.com/menshoes"> <link rel="next" href="https://www.woocommercemen.com/?page=3">
Observera att jag från sidan två hänvisar till kategorisidan (/menshoes/) och inte till /menshoes/?page=1. Om jag skulle göra det sistnämnda skulle jag, utan att använda en kanonisk sida, ha dubbelt innehåll för den första sidan: nämligen /menshoes och /menshoes/?page=1.
För sida 3 hänvisar jag till /?page=2 och /?page=4 och så vidare.
Den sista sidan (i det här exemplet sidan 5) har bara en hänvisning till den föregående sidan:
<link rel=”prev” href=”https://www.woocommercemen.com/menshoes/?page=4″>.
Det är viktigt att vara komplett när man implementerar denna tagg. Om du glömmer (en bit av) koden på en av sidorna kommer roboten inte att se sambandet mellan sidorna eller kommer inte att se det lika bra och kommer att börja leta efter sambandet själv. Detta kan leda till indexeringsproblem.
Kombinera rel=”next”/”prev” med canonical
För kategorisidor med sidindelning vill du inte ha en canonical från en sida till en annan sida. Koden rel=”prev”/”next” återspeglar förhållandet mellan sidorna, vilket förhindrar problem med dubbelt innehåll. Vissa CMS placerar automatiskt en kanonisk tagg på varje sida. Det som då ofta går fel är att sida 2 och framåt har en kanonisk tagg som pekar på den första sidan.
Om du vill använda den kanoniska taggen tillsammans med rel=”next”/”prev”-taggen bör sidans kanoniska tagg peka på sig själv. Sidan https://www.woocommercemen.com/menshoes/?page=2 har alltså en kanonisk tagg som pekar på sig själv: rel=”canonical” href=”https://www.woocommercemen.com/menshoes/?page=2″.
Om sidan 2:s canonical hänvisar till sidan 1 kan produkter och innehåll från sidan 2 inte indexeras. En självrefererande canonical kallas också för en självrefererande canonical.
Hreflang tagg
Hreflang tagg används när en webbplats har flera språkinställningar. Det är möjligt att med denna tagg hänvisa robotar till versioner av webbplatsen på ett annat språk. Om jag till exempel har en https://www.woocommercemen.ro utöver den engelska versionen kan jag hänvisa till denna version i källkoden. En sökmotor känner igen hreflang-taggen och visar sedan besökaren rätt version av webbplatsen utifrån besökarens plats och språkinställningar.
Du gör detta genom att använda hreflang-taggen och den ser ut så här: rel=”alternate” hreflang=”x”. Du placerar koden i sidans <head>.
När du använder hreflang-taggen bör du notera följande. Den engelska webbplatsen måste hänvisa till den rumänska webbplatsen och vice versa. Det räcker alltså inte att bara hänvisa från den engelska webbplatsen till den rumänska versionen. När du använder den här taggen bör du dessutom lägga till en självrefererande del. Ett litet exempel:
Källkod Engelsk version
https://www.woocommercemen.com
<link href="https://www.woocommercemen.com/" hreflang="en" rel="alternate" /> <link href="https://www.woocommercemen.ro/" hreflang="ro" rel="alternate" />
Källkod Rumänsk version
https://www.woocommercemen.ro
<link href="https://www.woocommercemen.ro" hreflang="ro" rel="alternate" /> <link href="https://www.woocommercemen.com" hreflang="en" rel="alternate" />
Med hreflang-taggar kan du också konfigurera din webbplats för olika språkregioner. Belgien har till exempel en fransktalande del och en nederländsktalande del.
Så jag kan skapa min webbplats för fransktalande Belgien med:
<link href="https://www.woocommercemen.be/fr" hreflang="fr-be" rel="alternate" />
och det nederländsktalande Belgien med:
<link href="https://www.woocommercemen.be/" hreflang="nl-be" rel="alternate" />
Tänk på att detta måste anges för varje sida på webbplatsen. Det räcker alltså inte att ställa in en hreflang-tagg endast på hemsidan. En nederländsk kategorisida hänvisar alltså till den nederländska och engelska kategorisidan och vice versa. En nederländsk produktsida hänvisar till den nederländska och engelska produktsidan, och vice versa.
Kombinera hreflang med kanonisk tagg
Om du vill kombinera hreflang-taggen med en kanonisk tagg måste du referera till samma språk som den kanoniska taggen. Om jag hänvisar till den engelska versionen från min nederländska webbplats med hreflang-taggen vill jag att den kanoniska taggen ska vara till den nederländska versionen. Detta beror på att de två lösningarna sänder olika signaler. Som vi diskuterat visar den kanoniska taggen en preferens för att den viktigaste sidan ska indexeras och de minst viktiga sidorna inte. hreflang-taggen anger vilka andra versioner av webbplatsen man också vill ha i sökresultaten. Detta är alltså motstridiga signaler.
För att göra det hela komplett finns nedan exempel på hreflang-taggar med kanoniska taggar.
Källkod Nederländsk version
https://www.woocommercemen.nl
<link href="https://woocommercemen.nl/" hreflang="nl" rel="alternate" /> <link href="https://www.woocommercemen.com/" hreflang="en" rel="alternate" /> <link rel="canonical" href="https://www.woocommercemen.nl/">
Källkod Engelsk version
https://www.woocommercemen.com
<link href="https://www.woocommercemen.nl/" hreflang="en" rel="alternate" /> <link href="https://www.woocommercemen.com/" hreflang="en" rel="alternate" /> <link rel="canonical" href="https://www.woocommercemen.com/">
Kombinera hreflang med rel=”next”/”prev”
Om du kombinerar hreflang-taggen med rel=”next”/”prev”-taggen måste du logiskt sett tänka på följande. Se till att rel=”next”/”prev”-taggen är densamma inom en språkversion av webbplatsen. Du bör alltså inte använda taggen rel=”next”/”prev” med en .com-adress i den nederländska versionen av webbplatsen. Dessutom bör en nederländsk sida 2 hänvisa till den nederländska sidan 2 och den engelska sidan 2 genom hreflang-taggen.
Eftersom exempel ofta fungerar smidigare har jag placerat bitar av källkod nedan.
Källkod Nederländsk version
https://www.woocommercemen.nl/menshoes
<link href="https://www.woocommercemen.nl/menshoes" hreflang="nl" rel="alternate" /> <link href="https://www.woocommercemen.com/menshoes" hreflang="en" rel="alternate" /> <link rel="canonical" href="https://www.woocommercemen.nl/"> <link rel="next" href="https://www.woocommercemen.nl/menshoes/?page=2">
Källkod Nederländsk version
https://www.domein.nl/mannenschoenen/?page=2
<link href="https://www.woocommercemen.nl/menshoes/?page=2" hreflang="nl" rel="alternate" />
<link href="https://www.woocommercemen.com/menshoes?page=2" hreflang="en" rel="alternate" />
<link rel="canonical" href="https://www.woocommercemen.nl/menshoes/?page=2">
<link rel="next" href="https://www.woocommercemen.nl/menshoes/?page=3">
<link rel="prev" href="https://www.woocommercemen.nl/menshoes">
Källkod Engelsk version
https://www.woocommercemen.com/menshoes
<link href="https://www.woocommercemen.nl/menshoes" hreflang="en" rel="alternate" /> <link href="https://www.woocommercemen.com/menshoes" hreflang="en" rel="alternate" /> <link rel="canonical" href="https://www.woocommercemen.com/menshoes"> <link rel="next" href="https://www.woocommercemen.com/menshoes?page=2">
Källkod Engelsk version
https://www.woocommercemen.com/menshoes/?page=2
<link href="https://www.woocommercemen.nl/menshoes?page=2" hreflang="en" rel="alternate" />
<link href="https://www.woocommercemen.com/menshoes?page=2" hreflang="en" rel="alternate" />
<link rel="canonical" href="https://www.woocommercemen.nl/menshoes/?page=2">
<link rel="next" href="https://www.woocommercemen.com/menshoes?page=3">
<link rel="prev" href="https://www.woocommercemen.com/menshoes">
Google Search Console URL parameters
Med parametrarna i Google Search Console kan du ange ovanstående punkter för Google. En eller flera av dessa tekniska aspekter kanske inte kan anpassas i ditt WordPress CMS. I det fallet erbjuder Google Search Console URL-parametrar en lösning. Om du loggar in på Google Search Console hittar du alternativet URL-parametrar under fliken Crawling.
Inom Google Search Console URL-parametrar kan du lägga till egna parametrar som besökare kan använda för att organisera eller filtrera innehåll.
När du har lagt till en parameter kan du välja mellan två alternativ:
- Parametern påverkar inte sidans innehåll
- Sidans innehåll ändras, omorganiseras eller begränsas.
En parameter som inte påverkar innehållet är till exempel sessions-ID. Om du har en parameter som påverkar innehållet, till exempel ett sorteringsalternativ eller ett filter, kan du ange i Google Search Console hur parametern påverkar innehållet. Bilden nedan visar att innehållet kan påverkas av sortera, begränsa, specificera, översätta och paginera.
Därefter kan du ange vad Google ska göra med de webbadresser som innehåller den här parametern:
- Låt Googlebot avgöra: Om du inte är säker på vad parametern gör eller om beteendet skiljer sig åt på olika delar av webbplatsen.
- Varje URL: På detta sätt ses varje ändring av en parameter som en separat URL. Använd det här alternativet när du är säker på att innehållet ändras när du ändrar parametern.
- Endast webbadresser med angivet värde: Med det här alternativet kan du ange värdet på en parameter som ska sökas. Om det finns en parameter på webbplatsen som sorterar produkter efter pris kan du ange att endast webbadresser som sorterar produkter efter pris från högst till lägst ska krabbas. URL-adresser som innehåller ett alternativ för prissortering från lägst till högst kommer då inte att krabbas.
- Inga URL:er: Med detta alternativ kan du utesluta URL:er med en parameter helt och hållet. Detta kan vara praktiskt om du har flera parametrar i en URL i rad.
Google Search Console URL-parametrar innehåller alternativ som också kan åtgärdas på tidigare nämnda sätt. Om man till exempel tittar på parametrar som översätter eller paginerar är det den tidigare nämnda hreflang-taggen och rel=”next”/”prev”-taggen.
Om implementeringen av en viss tagg misslyckas kan du åstadkomma samma sak med det här verktyget. Saken är dock den att dessa regler endast gäller för Googles sökmotor, medan implementering av taggar gäller för (nästan) alla sökmotorer.
