Zoekmachines moeten uw site crawlen en indexeren voordat deze in de organische zoekresultaten kan worden gerangschikt. Het optimaliseren van uw inhoud heeft dus geen zin als zoekmachines er geen toegang toe hebben.
Dit is de negende aflevering in mijn serie “SEO How-to”. Eerdere afleveringen zijn:
- “Deel 1: Waarom SEO gebruiken?“;
- “Deel 2: zoekmachines begrijpen“;
- “Deel 3: strategie en planning“;
- “Deel 4: concepten voor trefwoordonderzoek“,
- “Deel 5: Keywords analyseren“,
- “Deel 6: optimaliseren va on-page elementen“;
- “Deel 7: oplijsting van trefwoorden“;
- “Deel 8: Architectuur en interne links“
In “Deel 2” heb ik besproken hoe zoekmachines inhoud crawlen en indexeren. Iedere beperking voor het crawlen van uw pagina’s, kan uw organische zoekprestaties tenietdoen.
Affiliate Disclaimer:
De website bevat affiliate links. Als je via deze links een aankoop doet, ontvangen wij hiervoor een commissie. Dit is een commissie die wij ontvangen voor het doorsturen van onze bezoekers.
Op deze manier houden wij de site draaiende en kunnen wij u blijven voorzien van informatie. Producten worden NOOIT duurder als je gebruikmaakt van onze affiliate links. Door te kopen via onze link, steun je ons in het publiceren van nieuwe content.
Per ongeluk blokkeren
Het is een worstcasescenario bij zoekmachineoptimalisatie: uw bedrijf heeft een nieuwe site ontworpen en plotseling lopen de organische prestaties vast. Uw webanalyses geven aan dat het verkeer naar de startpagina relatief stabiel is. Maar het verkeer op de productpagina is lager en uw nieuwe overzichtspagina’s zijn nergens te vinden in Google.
Wat is er gebeurd? U heeft waarschijnlijk een probleem met crawlen of indexeren.
Bots hebben een lange weg afgelegd. De belangrijkste zoekmachines beweren dat hun bots ook in JavaScript kunnen crawlen en tot op zekere hoogte is dat waar. Maar het is net de wijze waarop de JavaScript-code gecodeerd werd, bepaalt of zoekmachines de inhoud kunnen openen of begrijpen.
Uw browser is veel vergevingsgezinder dan bots. Inhoud die op het scherm wordt weergegeven en correct functioneert in uw browser, kan mogelijk niet worden gecrawld door bots. Voorbeelden zijn onder meer het onvermogen van bots om interne links te herkennen (verweesde hele secties) of om pagina-inhoud correct weer te geven.
De meest geavanceerde bots interpreteren een pagina zoals mensen die zien in bijgewerkte browsers en sturen de informatie terug naar de zoekmachine om de verschillende statussen weer te geven voor extra inhoud en links.
Maar dat is afhankelijk van de meest geavanceerde zoekbot (i) die uw pagina’s crawlt, (ii) elementen identificeert en activeert, zoals niet-standaard linkcodering in navigatie, en (iii) de functie en betekenis van een pagina beoordeelt.
Traditioneel crawlen is afhankelijk van HTML-tekst en links om de relevantie en autoriteit direct te bepalen. Maar geavanceerd crawlen in JavaScript kan bijvoorbeeld weken duren, als het al gebeurt.
Kortom, investeer de tijd om de crawlblokkers op uw site te identificeren en op te lossen.
Crawl testen
Helaas kunnen openbaar beschikbare tools zoals DeepCrawl en Screaming Frog’s SEO Spider moderne zoekrobots niet perfect repliceren. De tools kunnen negatieve resultaten weergeven wanneer een zoekbot mogelijk toegang heeft tot de inhoud.
De eerste stap om te testen of zoekrobots uw hele site kunnen crawlen, is door de Google index te controleren. Typ in de zoekbalk van Google ‘site:’ voor een URL die u wilt controleren, zoals:
site: www.mysite.com/this page /
Sitequery’s retourneren een lijst met pagina’s die Google heeft geïndexeerd, die beginnen met de URL-tekenreeks die u heeft ingevoerd. Als de pagina’s die ontbreken in uw analyse ook ontbreken in de index van Google, kan er een crawlblokkering optreden. Als de pagina’s echter zijn geïndexeerd maar geen organisch verkeer genereren, heeft u waarschijnlijk een relevantie- of linkautoriteitsprobleem.
U kunt ook de indexering in Google Search Console controleren met de tool “URL-inspectie”, maar slechts één pagina tegelijk.
Als de site-zoekopdracht geen pagina’s ophaalt, probeer dan je site te crawlen met Screaming Frog of DeepCrawl. Laat de crawler op uw site draaien en zoek naar ontbrekende gebieden van een bepaald type – bladerrasters, productdetailpagina’s, artikelen…
Als u geen gaten in de crawl ziet, is uw site waarschijnlijk crawlbaar. Zoekrobots zijn weer beter in staat dan crawlertools. Als een tool door de inhoud van een site kan komen, kan dat ook door zoekrobots. En problemen die in een crawlertool worden geïdentificeerd, kunnen valse negatieven zijn.
Gebruik ook crawlertools in preproductieomgevingen om crawlproblemen te identificeren voordat u de game start, of geef in ieder geval een idee van waar u mee te maken krijgt als het programma live gaat.
