Er zijn spinnen op uw website.

Doe niet zo gek! Ik heb het niet over echte spinnen met acht poten. Ik heb het over zoekmachine optimalisatie spinnen. Zij zijn de bots die SEO mogelijk maken. Elke grote zoekmachine maakt gebruik van spiders om het waarneembare internet te catalogiseren.

Het is door het werk van deze spiders, soms aangeduid als crawl spiders of crawlers, dat uw website wordt gerangschikt op populaire zoekmachines zoals Google, Bing, Yahoo, en anderen.

Natuurlijk, Google is de grote hond van de zoekmachine wereld, dus bij het optimaliseren van een website, is het het beste om Google’s spiders in het achterhoofd te houden.

Maar wat zijn zoekmachine crawl spiders?

De essentie ervan is simpel: Om hoog te rangschikken op de resultatenpagina’s van zoekmachines, moet u uw website schrijven, ontwerpen en coderen om hen aan te spreken.

Dat betekent dat je moet weten wat ze zijn, wat ze zoeken, en hoe ze werken.

Gewapend met die informatie, zult u in staat zijn om uw site beter te optimaliseren, wetende wat de belangrijkste zoekmachines in de wereld zoeken.

Let’s get into it.

What Are Search Engine Spiders?

Voordat je kunt begrijpen hoe een webcrawler werkt en hoe je er een beroep op kunt doen, moet je eerst weten wat ze zijn.

Search engine spiders zijn de voetsoldaten van de zoekmachinewereld. Een zoekmachine zoals Google heeft bepaalde dingen die het wil zien van een hoog gerangschikte site. De crawler beweegt zich over het web en voert de wil van de zoekmachine uit.

Een crawler is eenvoudigweg een stukje software dat door een bepaald doel wordt geleid. Voor spiders is dat doel het catalogiseren van website-informatie.

(Image Source)

De spiders van Google kruipen over websites en verzamelen en slaan gegevens op. Ze moeten niet alleen bepalen wat de pagina is, maar ook de kwaliteit van de inhoud en de onderwerpen die erin staan.

Dit doen ze voor elke site op het web. Om dat in perspectief te plaatsen: in 2019 zijn er 1,94 miljard websites actief, en dat aantal stijgt elke dag. Elke nieuwe site die opduikt, moet worden gecrawld, geanalyseerd en gecatalogiseerd door spiderbots.

De crawlers van de zoekmachine leveren vervolgens verzamelde gegevens aan de zoekmachine voor indexering. Die informatie wordt opgeslagen tot ze nodig is. Wanneer een Google-zoekopdracht wordt gestart, worden de resultaten en rankings gegenereerd uit die index.

Hoe werkt een crawler?

Een crawler is een ingewikkeld stukje software. Dat moet ook wel als je het hele web gaat catalogiseren. Maar hoe werkt deze bot?

Eerst bezoekt de crawler een webpagina op zoek naar nieuwe gegevens om in de index van de zoekmachine op te nemen. Dat is het uiteindelijke doel en de reden van zijn bestaan. Maar er gaat heel wat werk zitten in de taak van deze zoekmachinerobot.

Stap 1: Spiders controleren uw Robots.txt-bestand

Wanneer de spiders van Google op een nieuwe website aankomen, downloaden ze onmiddellijk het robots.txt-bestand van de site. Het robots.txt-bestand geeft de spiders regels over welke pagina’s kunnen en mogen worden gecrawld op de site. Ze kunnen ook sitemaps bekijken om de algemene lay-out van de pagina’s te bepalen en te bepalen hoe deze moeten worden gecatalogiseerd.

(Image Source)

Robots.txt is een waardevol onderdeel van de SEO-puzzel, maar het is iets waar veel websitebouwers u geen directe controle over geven. Er zijn individuele pagina’s op uw site die u wilt houden van Google’s spiders.

Kunt u uw website te blokkeren van het krijgen van gecrawld?

Dat kunt u absoluut, met behulp van robots.txt.

Maar waarom zou u dit willen doen?

Laten we zeggen dat u twee pagina’s hebt die sterk op elkaar lijken, met veel dubbele inhoud. Google haat duplicate content, en het is iets dat uw ranking negatief kan beïnvloeden. Daarom is het goed om uw robots.txt-bestand te kunnen bewerken om Google te verblinden naar specifieke pagina’s die een ongelukkig effect op uw SEO-score kunnen hebben.

Google is super bijzonder over dingen zoals duplicate content omdat zijn bedrijfsmodel is gewijd aan het leveren van nauwkeurige en hoogwaardige zoekresultaten. Dat is waarom hun zoekalgoritme zo geavanceerd is. Als ze de best mogelijke informatie bieden, zullen klanten naar hun platform blijven komen om te vinden wat ze zoeken.

(Image Source)

Door zoekresultaten van hoge kwaliteit te leveren, trekt Google consumenten naar hun platform, waar ze advertenties kunnen laten zien (die verantwoordelijk zijn voor 70,9% van de inkomsten van Google).

Dus, als je denkt dat de spiders te kritisch zijn op zaken als duplicate content, bedenk dan dat kwaliteit de belangrijkste zorg is voor Google:

• Kwaliteitsvoorstellen leiden tot meer gebruikers.
• Meer gebruikers leiden tot meer advertentieverkopen.
• Meer advertentieverkopen leiden tot winstgevendheid.

Stap 2: Spiders controleren uw links

Een belangrijke factor waar spiders zich op richten is het linken. Spiders kunnen niet alleen hyperlinks herkennen, maar ze kunnen ze ook volgen. Ze gebruiken de interne links van uw site om zich te verplaatsen en verder te catalogiseren. Interne links zijn essentieel voor een heleboel redenen, maar ze creëren ook een gemakkelijk pad voor zoek bots te volgen.

Spiders zal ook zorgvuldig nota te nemen van wat outbound links, samen met welke sites van derden zijn linking naar jou. Als we zeggen dat link building is een van de meest kritische elementen van een SEO-plan, we vertellen de waarheid. Je moet een intern web van links tussen je pagina’s en blog posts creëren. U moet er ook voor zorgen dat u links maakt naar externe bronnen.

Maar naast dat alles moet u er ook voor zorgen dat externe sites die bij Google in hoog aanzien staan en relevant zijn voor uw site, naar u linken.

(Afbeeldingsbron)

Zoals we in het vorige hoofdstuk hebben gezegd, moet Google weten dat het zoekers kwalitatief hoogwaardige en legitieme suggesties geeft om zijn dominantie en, in het verlengde daarvan, winstgevendheid te behouden.

Wanneer een site naar u linkt, moet u dit zien als een aanbevelingsbrief. Als je solliciteert naar een baan als verpleegkundige, kom je voorbereid met aanbevelingsbrieven van eerdere ziekenhuisbestuurders en medische professionals met wie je hebt samengewerkt.

Als je komt opdagen met een korte brief van je postbode en je hondentrimmer, hebben ze misschien mooie dingen over je te zeggen, maar hun woord zal niet veel gewicht in de schaal leggen op medisch gebied.

SEO is een sollicitatiegesprek met Google.

Je bent elke seconde dat je online bent aan het solliciteren voor de topplekken in je branche. Google’s spiders zijn de HR-vertegenwoordigers die het gesprek voeren en uw bronnen controleren voordat ze terugrapporteren aan hun hogere managers en beslissen of u in aanmerking komt.

Stap 3: Spiders controleren uw kopie

Een veel voorkomende misvatting over zoekmachine spiders is dat ze gewoon op de pagina komen en al uw zoekwoorden tellen.

Weliswaar spelen zoekwoorden een rol in uw rang, maar spiders doen veel meer dan dat.

SEO draait allemaal om tweaks aan uw kopie. Die aanpassingen worden gemaakt in een poging om indruk te maken op de spiders van Google en ze te geven wat ze zoeken.

(Image Source)

Maar waar letten zoekmachinespiders op als ze uw websiteteksten doornemen?

Ze proberen drie sleutelfactoren vast te stellen.

1. De relevantie van uw inhoud. Als u een tandheelkundige website bent, richt u zich dan op tandheelkundige informatie? Gaat u off-topic op willekeurige raaklijnen of wijdt u delen van uw site aan andere niet-gerelateerde thema’s? Als dat zo is, zullen de bots van Google in de war raken over hoe ze u moeten rangschikken.
2. De algehele kwaliteit van uw inhoud. Google spiders zijn sticklers voor kwaliteit schrijven. Ze willen ervoor zorgen dat uw tekst in overeenstemming is met de hoge normen van Google. Vergeet niet dat Google’s aanbeveling gewicht in de schaal legt, dus het gaat niet alleen om hoeveel zoekwoorden je in een alinea kunt proppen. De spiders willen kwaliteit boven kwantiteit zien.
3. De autoriteit van uw inhoud. Als je een tandheelkundige website, Google moet ervoor zorgen dat je een autoriteit in uw branche. Als u de nummer een zoekterm voor een specifiek trefwoord of zinsdeel wilt zijn, dan moet u bewijzen aan de spiders van Google dat u de autoriteit bent op dat specifieke onderwerp.

Als u gestructureerde gegevens, ook bekend als schema markup, in de code van uw site opneemt, verdient u extra punten met de spiders van Google. Deze coderingstaal geeft de spiders meer informatie over uw website en helpt ze u nauwkeuriger te noteren.

Het is ook nooit een goed idee om te proberen de spiders van Google voor de gek te houden. Ze zijn niet zo dom als veel SEO marketeers lijken te denken. Spiders kunnen snel black-hat SEO-tactieken identificeren.

Black-hat SEO omvat immorele tactieken die worden gebruikt om te proberen Google te misleiden en een site een hogere ranking te geven zonder kwaliteitsinhoud en links te creëren.

Een voorbeeld van een black hat SEO-tactiek zou keyword stuffing zijn, waarbij je onzinnige zoekwoorden in een pagina stapelt. Een andere tactiek die black hat SEO-bedrijven gebruiken, is het creëren van backlinks via dummypagina’s die een link terug naar uw site bevatten.

En een decennium geleden werkten deze tactieken. Maar sindsdien heeft Google vele updates doorgemaakt, en zijn spider bots zijn nu in staat om black hat tactieken te identificeren en de daders te straffen.

Spiders indexeren black-hat SEO informatie, en straffen kunnen worden uitgegeven als uw inhoud problematisch blijkt te zijn.

Deze straffen kunnen iets kleins maar effectiefs zijn, zoals een downranking van de site, of, iets zo ernstig als een totale delisting, waarbij uw site helemaal van Google verdwijnt.

Stap 4: Spiders kijken naar uw afbeeldingen

Spiders zullen een boekhouding van de afbeeldingen van uw site maken als ze het web crawlen. Dit is echter een gebied waar Google’s bots wat extra hulp nodig hebben. Spiders kunnen niet zomaar naar een plaatje kijken en bepalen wat het is. Het begrijpt dat er een afbeelding is, maar het is niet geavanceerd genoeg om de werkelijke context te krijgen.

Daarom is het zo belangrijk om alt tags en titels bij elke afbeelding te hebben. Als u een schoonmaakbedrijf bent, hebt u waarschijnlijk foto’s waarop de resultaten van uw verschillende schoonmaaktechnieken voor kantoren te zien zijn. Tenzij u in de alt-tag of titel aangeeft dat de afbeelding van een kantoorschoonmaaktechniek is, zullen de spiders dat niet weten.

Step 5: Spiders Do It All Again

Het werk van een Google-spider is nooit klaar. Zodra het klaar is met het catalogiseren van een site, gaat het verder en zal het uiteindelijk uw site opnieuw crawlen om Google bij te werken over uw inhoud en optimalisatie-inspanningen.

Deze bots zijn voortdurend aan het crawlen om nieuwe pagina’s en nieuwe inhoud te vinden. U kunt indirect bepalen hoe vaak uw pagina’s worden gerecrawld. Als u uw site regelmatig bijwerkt, geeft u Google een reden om u opnieuw te catalogiseren. Daarom moeten consistente updates (en blogposts) deel uitmaken van elk SEO-plan.

Hoe optimaliseer je je site voor SEO-spiders?

Om te herzien, zijn er verschillende stappen die u kunt nemen om ervoor te zorgen dat uw site klaar is voor Google’s spiders om te crawlen.

Stap 1: Heb een duidelijke site hiërarchie

Site structuur is van cruciaal belang voor een goede ranking in de zoekmachines. Zorg ervoor dat pagina’s gemakkelijk toegankelijk zijn binnen een paar klikken, zodat crawlers zo snel mogelijk toegang hebben tot de informatie die ze nodig hebben.

Step 2: Doe zoekwoordenonderzoek

Begrijp welke zoektermen uw publiek gebruikt en zoek manieren om deze in uw inhoud te verwerken.

Step 3: Maak kwalitatief goede inhoud

Schrijf duidelijke inhoud die uw autoriteit over een onderwerp laat zien. Vergeet niet om uw tekst niet vol te proppen met trefwoorden. Blijf bij het onderwerp en bewijs zowel uw relevantie als expertise.

Step 4: Build Links

Creëer een reeks interne links die de bots van Google kunnen gebruiken wanneer ze hun weg door uw site vinden. Bouw backlinks van externe bronnen die relevant zijn voor uw branche om uw autoriteit te verbeteren.

Stap 5: Optimaliseer Meta Beschrijvingen en Title Tags

Voordat een webcrawler de inhoud van uw pagina bekijkt, zal hij eerst de titel en metadata van uw pagina doorlezen. Zorg ervoor dat deze zijn geoptimaliseerd met zoekwoorden. De noodzaak van kwaliteit inhoud strekt zich uit tot hier ook.

Stap 6: Voeg Alt Tags voor alle afbeeldingen

Bedenk dat de spiders niet kunnen zien uw afbeeldingen. Je moet ze beschrijven aan Google door middel van geoptimaliseerde tekst. Gebruik de toegestane tekens en schets een duidelijk beeld van wat uw foto’s laten zien.

Step 7: Zorg voor NAP Consistentie

Als u een lokaal bedrijf bent, moet u ervoor zorgen dat uw naam, adres en telefoonnummer niet alleen op uw site en op verschillende platforms van derden verschijnen, maar dat ze overal consistent zijn. Dat betekent dat ongeacht waar u een NAP-citaat vermeldt, de informatie identiek moet zijn.

(Afbeeldingsbron)

Dat geldt ook voor spelling en afkortingen. Als je in Main Street bent, maar je wilt afkorten tot Main St., zorg er dan voor dat je dat overal doet. Een crawler zal inconsistenties opmerken, en het zal de legitimiteit van uw merk en uw SEO-score schaden.

Stap 8: Werk uw site regelmatig bij

Een constante stroom van nieuwe inhoud zorgt ervoor dat Google altijd een reden heeft om uw site opnieuw te crawlen en uw score bij te werken. Blogberichten zijn een perfecte manier om een constante stroom van verse inhoud op uw website te houden voor zoekmachine bots om over te crawlen.

In Conclusie

Een sterk begrip van SEO-spiders en zoekmachine crawling kan een positieve invloed hebben op uw SEO-inspanningen. U moet weten wat ze zijn, hoe ze werken, en hoe u uw site kunt optimaliseren om te passen bij wat ze zoeken.

Het negeren van SEO-spidercrawlers kan de snelste manier zijn om ervoor te zorgen dat uw site zich in de obscuriteit wentelt. Elke zoekopdracht is een kans. Beroep op de crawlers, en u zult in staat zijn om uw digitale marketing plan te gebruiken om te stijgen in de zoekmachine rangen, het bereiken van de toppositie in uw branche en daar te blijven voor de komende jaren.