Hoe Vaak Crawl Google Een Site?

het moment van de waarheid! Je nieuwe website is live, en je hebt mensen nodig om te bezoeken. Dus je stelt waarschijnlijk de vraag, ‘hoe laat ik Google mijn site crawlen’?

we hebben allemaal een film gezien waarin iemand een website maakt en ‘zet het live’ en binnen enkele minuten de laptop ‘dings’ omdat iemand op bezoek is.

hoewel dit echt een leuk idee is, en hoewel we veel betaalde campagne hebben gevoerd en met ingehouden adem hebben gekeken terwijl de klikken binnen rolden, roept het nog steeds de vraag op:

als het gaat om organische inhoud, hoe laat ik Google mijn site crawlen, hoe vaak crawl ik een site en is er iets wat ik kan doen om het crawlen proces te versnellen? Deze blogpost zal die vraag beantwoorden.

het moment van de waarheid! Je nieuwe website is live, en je hebt mensen nodig om te bezoeken. Dus je stelt waarschijnlijk de vraag, ‘hoe laat ik Google mijn site crawlen’?

we hebben allemaal een film gezien waarin iemand een website maakt en ‘zet het live’ en binnen enkele minuten de laptop ‘dings’ omdat iemand op bezoek is.

hoewel dit echt een leuk idee is, en hoewel we veel betaalde campagne hebben gevoerd en met ingehouden adem hebben gekeken terwijl de klikken binnen rolden, roept het nog steeds de vraag op:

In een webmaster hangout vroeg een webuitgever hoe snel Google pagina ‘ s uit de index verwijderde als ze er een noindex nofollow aan hadden toegevoegd. De uitgever zei dat ze geenindex hadden toegevoegd, maar de pagina bleef in Google ‘ s index. Google ’s John Mueller uitgelegd met een antwoord dat een aantal interessante feiten over hoe website pagina’ s worden geïndexeerd onthulde.John Mueller onthulde dat url ‘ s door Google met verschillende snelheden worden gecrowled. Dat is niet echt verrassend. Wat was verrassend was dat hij zei dat sommige URL ‘ s kunnen worden gekropen zo weinig als eens in de zes maanden!In feite, hier is precies wat John Mueller zei

“ik denk dat het moeilijke deel hier is dat we niet crawlen URL’ s met dezelfde frequentie de hele tijd. Dus sommige URL ‘ s zullen we dagelijks kruipen. Sommige URL ‘ s misschien wekelijks. Andere URL ‘ s om de paar maanden, misschien zelfs om de half jaar of zo.

dit is iets waar we de juiste balans voor proberen te vinden, zodat we uw server niet overbelasten.

en als u belangrijke wijzigingen hebt aangebracht op uw website over de hele linie, dan zullen waarschijnlijk veel van die wijzigingen vrij snel worden opgepikt, maar er zullen nog enkele overgebleven zijn.

dus in het bijzonder als je dingen doet zoals site queries dan is er een kans dat je die URL ‘ s ziet die eens per half jaar gekropen worden. Ze zullen er nog steeds zijn na een paar maanden.

en dat is een soort van … de normale tijd voor ons om dingen te herwerken/opnieuw te kruipen. Dus het is niet per se een teken dat iets technisch volledig gebroken is.

maar het betekent wel dat als je denkt dat deze URL ‘ s echt helemaal niet geïndexeerd moeten worden, dan kun je misschien een back-up maken en zeggen dat hier een sitemap bestand is met de laatste wijzigingsdatum, zodat Google afgaat en probeert deze een beetje sneller te controleren dan anders.”

Search Engine Journal publiceerde een artikel over deze hangout.

dus, als het gaat om organische inhoud, hoe laat ik Google mijn site crawlen, hoe vaak crawl ik een site door google en is er iets wat ik kan doen om het crawlen proces te versnellen om meer websiteverkeer te krijgen? Deze blogpost zal die vraag beantwoorden.

Waarom moet u uw Site indexeren?

als u wilt dat uw site wordt weergegeven in de zoekresultaten, dan moet deze worden geïndexeerd. Hoewel we een aantal kleine zakelijke klanten die niet altijd op zoek naar SEO met hun websites (ze gebruiken ze als een visitekaartje), je nog steeds moet worden geïndexeerd om te worden gevonden op alle.

en u wilt niet dat uw site slechts eenmaal wordt geïndexeerd. U wilt dat Google (en andere zoekmachines) om te blijven doen.

zoekmachines zoals Google werken niet automatisch bij. Ze gebruiken spinnen. Geen echte spinnen. Dat zou te eng zijn. Ik heb het over stukjes code die het web ‘doorzoeken’.

Wat is een webcrawler precies?

de taak van friendly spider is het zoeken naar nieuwe inhoud en het bijwerken van de reeds geïndexeerde versie van uw website. Met nieuwe dingen kan het een nieuwe pagina, een nieuwe blog, of wijzigingen aan een bestaande pagina betekenen.Volgens de prachtige Wikipedia is een webcrawler, soms spider of spiderbot genoemd en vaak afgekort tot crawler, een internetbot die systematisch op het World Wide Web surft, meestal voor het doel van web indexering (web spidering).

zoekmachine Crawlers zullen zoeken naar url ‘ s op uw site en in principe zet ze op de juiste plaats, of de plaats die het denkt dat juist is.

Google ‘ s crawler wordt de Googlebot genoemd. Het kruipt door websites en voegt alle informatie in een pagina aan een Google-index, zodat het de informatie later kan vinden wanneer iemand op zoek is naar dat onderwerp op een zoekmachine.

Hoe Kruipt Google Websites?

Crawling is wanneer Google uw website bezoekt, met zijn spider crawler. Het is niets eng, gewoon een kleine spin die kruipt door alle pagina ‘ s van uw website. Na het kruipen vindt plaats, Google indexeert uw website.

maar wat is eigenlijk een Google crawl? Simpel gezegd, de Googlebot ‘volgt een pad’ via uw website. via een sitemap als je er een hebt, of via de pagina ’s en gelinkte pagina’ s. Dit is de reden waarom je een echt goede site structuur nodig.

indexeren is het proces van het toevoegen van de pagina ‘ s die het kruipt naar een index. net als een Gouden Gids is de index een uitgebreide database van webpagina ‘ s. Google en andere zoekmachines kunnen ze vervolgens serveren wanneer u online naar iets zoekt.

nu is de zoekmachine slechts zo goed als de code en inhoud van uw website. Als u wilt dat Google uw site te indexeren dan moet het voldoen aan webstandaarden. Sommige pagina ‘ s kunnen niet worden geïndexeerd als ze fouten hebben, zoals niet mobiel vriendelijk. of Google kan ervoor kiezen om geen dubbele inhoud te crawlen. Voorbij zijn de dagen van het hebben van meerdere pagina ‘ s met een tweak van slechts één woord. Google zal beslissen welke pagina verdient te worden geïndexeerd en negeren de anderen.

Waar Zal Google Mijn Inhoud Indexeren?

vroeger was het eenvoudig. Gewoon vul het trefwoord in de pagina zo vaak mogelijk. Maar kom op, dit is belachelijk, want het biedt geen kwaliteit aan de gebruiker! Gelukkig zoekmachines hebben gekregen een stuk slimmer dan ze vroeger zijn.

gelukkig zal het stoppen van zoekwoorden in uw inhoud (en meta-tags) niet alleen worden genegeerd door zoekmachines, het zal u waarschijnlijk straffen. je zou zelfs uw site op de zwarte lijst en opgestart uit de serps helemaal. wat betekent dat je nergens voor scoort. maar waarom?

omdat het algoritme van Google nu veel meer bezig is met de algemene gebruikerservaring, en iets dat ‘zoekintentie’wordt genoemd. Waarom zoekt deze persoon naar een bepaalde zoekterm? Meestal is het een van de vier” Ik wil gaan, Ik wil weten, Ik wil kopen of Ik wil leren ” micro momenten gespecificeerd door Google.

en daarom is indexeren zo belangrijk. Regelmatige indexering verbetert ook uw zoekresultaten in het algemeen. Als u wilt rang hoger in de zoekopdracht, probeer het en zie! Als de webcrawler merkt wijzigingen aan uw website, worden ze bijgewerkt in Google ‘ s doorzoekbare index. De pagina ‘ s worden alleen aan de index toegevoegd als ze voldoen aan de webmasterstandaarden en niets black hat doen.

wanneer de crawler wijzigingen op uw website ziet, verwerkt hij deze wijzigingen en analyseert hij de inhoud en code en plaatst deze mooi in de index. Dat is het echt.

wanneer een gebruiker iets intypt in Google, bepaalt het algoritme waar uw pagina wordt gerangschikt in vergelijking met alle andere pagina ‘ s die met deze woorden te maken hebben. Ik denk dat het een beetje als de muziek charts. Hoe populairder een pagina is, hoe hoger hij zal klimmen.

Wat zijn de belangrijkste indexeringsfactoren?

we werken onze site vaak bij en als gevolg daarvan wordt deze om de paar dagen gekropen, soms dagelijks. In de regel wil je regelmatig kruipen. het is alsof Google geïnteresseerd is in wat er gaande is. Check in met Google search console, om uit te vinden wanneer uw site voor het laatst werd gekropen. hier zijn enkele factoren die het beter maken voor Google:

Speed. – Dit betekent een betere ervaring voor uw gebruikers. hoe beter de ervaring, hoe hoger uw site zal rangschikken. Hoe sneller een site, hoe gemakkelijker te indexeren. Ik gebruik SEMRush om websites te controleren, en als een pagina traag is, is het soms een keer uit met SEMRush. Google heeft niet de hele dag, dus zorg ervoor dat uw pagina ‘ s zijn snel.

u kunt ook helpen door uw sitemaps in te dienen. maar Ik zal daar later meer in detail op ingaan. Laten we naar de stappen van het krijgen van uw site geïndexeerd.

Stap 1: ben ik al geïndexeerd?

voer een snelle controle uit door site: te typen, gevolgd door uw domein in google. Dit zal u vertellen of uw pagina ‘ s zijn op Google en hoeveel er zijn.

Stap 2: Het opzetten van Search Console en Google Analytics.

als u geen Google Search Console (voorheen Google Webmaster Tools) gebruikt om uw webpagina te controleren en te crawlen, dan zou u dat wel moeten zijn. Er zijn waardevolle inzichten die je niet mag missen. Dit is hoe je erachter te komen wat mensen echt typen om uw webpagina ‘ s te vinden.

koop een Google search console-account en sluit uw website aan. Dit bericht zal niet ingaan op hoe dat te doen, omdat het gaat ervan uit dat u Google Analytics op zijn plaats, of je zal waarschijnlijk niet vragen over Google crawl statistieken.

weet dat u moet controleren of u de site-eigenaar bent. Dit is eenvoudig als u Google Analytics hebt ingesteld op uw website. Het enige wat u hoeft te doen is uw domein toevoegen via de zoekconsole en u krijgt een reeks manieren te zien om te verifiëren. De eenvoudigste manier is via Google Analytics.

de Google Search Console (een gratis service) geeft u specifieke gegevens over hoe vaak Google crawler uw website bezoekt.

het ziet er zo uit:

ten tijde van het bijwerken van dit bericht. Google Search Console slaat de laatste zestien maanden van de website gegevens en kan u een aantal verbazingwekkende inzichten in uw website. Hoe u wordt gevonden, voor welke sleutelzinnen u verschijnt en hoe vaak gebruikers op die zoekresultaten klikken.

u kunt de resultaten jaar na jaar of met een vergelijkbare periode vergelijken. je kunt bijvoorbeeld de laatste drie maanden vergelijken met de vorige drie maanden.

u kunt ook een lijst zien van URL ’s of pagina’ s die voor elke zoekterm werden geserveerd. Nog nuttiger, kunt u de bovenste pagina ‘ s die verkeer naar uw site, en de zoektermen die een indruk voor uw landing page geactiveerd te bekijken. Dit is echt een nuttig hulpmiddel voor het wroeten uit trefwoord opprtunities en zien waar je zou kunnen rangschikken, als je dat nog niet doet.

Google Search Console is in dit opzicht zoveel meer dan een foutenmonitor. Het is een briljant zoekwoord onderzoeksinstrument.

als u een WordPress-website hebt, installeert u Google Site Kit. Het zal zorgen voor dit alles voor u in een paar eenvoudige klikken.

Stap 3: Creëer een contentmarketingstrategie & Blog

de meeste website-eigenaren gaan ervan uit dat het voldoende is om inhoud toe te voegen en er enkele trefwoorden in te plaatsen. u moet een content strategie rond zoekmachine resultaten op te bouwen als u wilt worden gevonden en geïndexeerd.

Maak een plan van uw inhoud, gebaseerd op trefwoordonderzoek, trefwoord moeilijkheidsgraad en zoekvolumes. Het is een geweldig startpunt. Toen ik begon met mijn digitale bedrijf, was ik ook onder de indruk dat ik gewoon nodig om inhoud toe te voegen. als digitaal bureau hebben we content die onze projecten dekt, en zelfs bedrijfsnieuws.Naarmate de tijd vorderde, leerde ik hoe weinig mensen die niets van uw bedrijf weten, geïnteresseerd zijn in uw bedrijfsnieuws. u moet inhoud maken op basis van onderwerpen die gebruikers zoeken naar, en binnen uw niche. Begin niet met het schrijven van berichten over ongerelateerde onderwerpen. .Een recente hubspot-studie suggereerde dat 40% van de marketeers zegt dat contentmarketing een zeer belangrijk onderdeel is van hun algemene marketingstrategie. (Bron: https://www.hubspot.com/marketing-statistics).Probeer informatieve, nuttige en interessante inhoud te publiceren. Het kan niemand wat schelen dat je bedrijf net tien is geworden.

gebruik Infographics zoals deze 2020 content marketing infographic

wanneer u inhoud te maken kijken om het te maken niet alleen voor jezelf, maar gast post op andere gerenommeerde sites. omgekeerd niet link terug naar uw site van een spammy sites. Google zal gewoon aannemen dat je spammy.

wij bevelen Neil Patels content strategy aan. Hier is zijn raamwerk.

• wat zijn uw doelen? Geef slimme doelen op en hoe u uw vooruitgang zult meten (d.w.z. metrics).
• Wie is uw doelgroep? Klantprofielen of persona ‘ s zijn essentieel voor het begrijpen van uw publiek en wat ze willen/nodig hebben.
• welke soorten inhoud wilt u produceren? Je wilt er zeker van zijn dat je het type content levert dat je doelgroep wil zien.
• waar zal het worden gepubliceerd? Natuurlijk, u zult het hosten van uw eigen content op uw website, maar u kunt ook contact opnemen met andere sites of gebruik maken van platforms zoals YouTube, LinkedIn, en Slideshare.
• hoe vaak publiceert u uw inhoud? Het is veel beter om een goed geschreven, kwalitatief hoogstaand artikel per week consequent te produceren dan om elke dag te publiceren voor een week en vervolgens niets te publiceren voor een maand. Consistentie is de sleutel.
• welke systemen gaat u gebruiken om uw inhoud te publiceren? Systemen zijn in principe gewoon herhaalbare routines en stappen om een complexe taak voltooid te krijgen. Ze helpen u tijd te besparen en uw content sneller te schrijven, zodat u op schema kunt blijven. Alles wat u helpt inhoud te publiceren in minder tijd zonder in te boeten kwaliteit zal uw bottom line te verbeteren.
• voeg de tools en technologie voor blogging/content toe die u zult gebruiken en hoe deze in uw systeem passen.

zodra u uw strategie op zijn plaats hebt, begint u met schrijven. Je moet je er aan verbinden en het kost veel moeite. vooral als je niet een groot bedrijf met een team van content schrijvers. Im zat thuis op een zaterdagmiddag, het updaten van deze blog post. maar dit is een van mijn meest bezochte pagina ‘ s en dus het is de moeite waard de tijd die nodig is om verkeer naar onze website.

u moet bloggen, zelfs als u een e-commercewebsite hebt. als u nieuwe producten, schrijf over hen. kunt u schrijven over lifestyle onderwerp met betrekking tot uw producten? bijvoorbeeld als u een website met gezondheidssupplementen, schrijven over gezonde levensstijl onderwerpen, en link terug naar uw producten.

Stap 4: Hebben een linking strategie

Interne links, wat betekent dat het linken naar andere pagina ‘ s in uw website is een van de beste SEO quick wins ik ken. Ten eerste, zult u veel links in uw website navigatie. Uw website structuur is belangrijk, en onderwerpen en thema ‘ s moeten worden gegroepeerd.

zorg ervoor dat u vriendelijke URL ‘ s hebt. wat ik daarmee bedoel is dat ze niet te lang zouden moeten zijn en dat ze woorden zouden moeten bevatten, niet gobledegook.

gebruik een zijbalk in uw blog om te linken naar uw meest populaire pagina ‘ s en berichten. U kunt zelfs handmatige gerelateerde onderwerp links, zoals gerelateerde Post: Waarom Uw Website Structuur Telt.

dit type link building moedigt de google bot aan om terug te komen en opnieuw te krabbelen. Het houdt gebruikers ook langer op uw site en biedt hen (hopelijk) meer nuttige inhoud.

Stap 5: Gebruik sociale media

Als u geen sociale media-profielen voor uw website hebt, doe het dan nu. een onderdeel van 2020 zoekmachine optimalisatie is aandacht besteden aan social media signalen. Ondanks het feit dat ‘Nofollow’ ze lijken wat gewicht toe te voegen aan uw website ranking.

installeer Facebook-pagina ‘s, Twitter-profielen, LinkedIn-profielen of bedrijfspagina’ s, Pinterest, YouTube-kanalen en vooral Google mijn bedrijfspagina ‘ s. Als uw bedrijf heeft afzonderlijke merken of projecten, het kan ook de moeite waard het opzetten van social media profielen alleen voor deze.

en het spreekt vanzelf dat als u deze profielen aanmaakt, u ze up-to-date moet houden,

hoe vaak crawlt Google een Site?

als het brein van uw perfectionist vraagt: “Wat is de exacte Google web crawler frequentie” weet niemand. Het hangt af van uw domein autoriteit, uw backlinks, en eventuele beperkingen. Er zijn ook factoren die uw crawl budget kunnen verspillen, zoals omleidingen en pagina ‘ s in uw sitemap die niet meer bestaan.

in Google ‘ s woorden, hun robot spiders “regelmatig” crawl web content om de grand index gebruikt om de SERPs (Search Engine Results Page) bij te werken.

deze crawls resulteren in wijzigingen in de SERPs, die kort nadat de index is bijgewerkt worden weergegeven. Dit kan betekenen dat u veranderingen kunt zien op elk moment van een paar momenten tot een paar dagen. Nogmaals, niemand weet het echt, zoals het allemaal wordt gedaan door een magisch algoritme. Oké, het is niet echt magisch, maar het is nogal mystiek.

hoe meer bezoekers je krijgt, hoe meer je website wordt gekropen. Googlebots zijn niet van plan om tijd te verspillen kruipen sites die nooit worden bezocht.

kan ik het proces versnellen?

wanneer u een pagina op uw site wijzigt, bijvoorbeeld als u deze herschrijft, de inhoud bijwerkt of de SEO op de pagina verbetert, kunt u de URL opnieuw indienen in de zoekconsole. Meestal, je krijgt opnieuw geïndexeerd vrij snel. In mijn ervaring is het ongeveer een minuut.

verbeteringen aan een webpagina kunnen zijn positie vergroten zodra deze opnieuw wordt geïndexeerd, dus het is de moeite waard om dit in gedachten te houden.

hoewel u geen directe controle hebt over wanneer Google uw pagina ‘ s doorzoekt, zijn er een paar dingen die u kunt doen om ze aan te moedigen.

Sitemaps & Foutcontrole

. een XML sitemap is een manier om ervoor te zorgen dat Google Search Console op de hoogte wordt gehouden van uw nieuwe inhoud. Als u werkt met een populair content management systeem zoals WordPress, dan kunt u eenvoudig genereren en verzenden sitemaps naar de search console.

controleer ook op mobiele bruikbaarheid. U moet weten dat uw site is 100% mobiel vriendelijk. De afbeelding hier toont kleine problemen in de tijd, maar alle zijn opgelost wanneer Gespot.

paginasnelheid en connectiviteit.

als Google uw site niet kan crawlen door een serverfout, dan stopt het met het crawlen van uw site. Als dit gebeurt, kan je ranglijst kelderen. Om te verduidelijken al, we zijn niet praten kortstondige vervalt hier, maar als uw site is naar beneden voor een langere periode van tijd, het is niet van plan om te blijven sturen bots uw weg.

voordelen van frequente inhoud.

als u regelmatig nieuwe inhoud aan uw site toevoegt, zal Google deze vaker leren crawlen. Het is geen raketwetenschap.

het kan moeilijk zijn om met nieuwe inhoud te komen, maar de eenvoudigste manier om dit te doen is om een blog aan uw site toe te voegen en deze te vullen met informatie met betrekking tot uw branche.

u kunt bloggen over alles wat u wilt om eerlijk te zijn, maar Google krijgt een eerlijk beeld van waar uw site over gaat als u het relevant houdt. We schrijven bijvoorbeeld vooral over Google-advertenties en SEO-inzichten, hoe we met agentschappen kunnen samenwerken en alles wat we in de digitale agentsruimte hebben gedaan.

intern en Backlinking

Internal links en inkomende links zijn nog steeds een belangrijke manier om te vinden op Google. Wanneer Google merkt dat uw inhoud wordt gepubliceerd en gedeeld door andere platforms, wordt u beloond.

wees echter voorzichtig en vermijd spammy directory listings en black hat technieken. De Almachtige Google kan je straffen en belonen, en zwarte vlekken zijn moeilijk om van terug te komen.

De Robots.txt-bestand.

dit is een eenvoudig tekstbestand dat in uw hoofdmap moet staan. Af en toe zijn behandeld door de host, en je kunt het niet bewerken, maar als je WordPress en je hebt een plugin zoals Yoast of RankMath, moet je in staat zijn om toegang te krijgen direct daar.

dit bestand geeft instructies aan crawlers over welke pagina ‘ s ze moeten doorzoeken en welke ze moeten negeren. Nogmaals, de bovengenoemde WordPress plugins kunnen zorgen voor dat ook voor u. Als u zich afvraagt waarom het goed is om deindex pagina ’s dat is een heel ander onderwerp, maar niet elke pagina is de moeite waard Google’ s aandacht. we indexeren onze categorieën en tags niet, omdat ze onze bewuste inhoud kunnen kannibaliseren.

als u niet zeker weet hoe u dit bestand kunt openen of configureren, praat dan met een expert. Wij zijn ervaren WordPress ontwikkelaars, en kunnen helpen met deze.

gestructureerde gegevens

zoekmachines houden van gestructureerde gegevens bij het crawlen en indexeren. Voeg Schemamarkup toe aan uw website om uw posities in de serps te versterken wanneer u een pagina voor webcrawling indient. Je zou zelfs kunnen laten zien voor een featured fragment, wat betekent dat de felbegeerde positie nul.

heeft u hulp nodig bij de kwaliteit van de inhoud, of om ervoor te zorgen dat uw website goed werkt voor uw bedrijf? Spreek vandaag nog met ons team en we kunnen uw online aanwezigheid gratis controleren.

over de auteur: Andi Wilkinson

met meer dan 15 jaar ervaring in web & digitale marketing, schrijft en spreekt Andi over een verscheidenheid aan B2B-onderwerpen, om een bedrijf te helpen online te groeien. Made By Factory is een SEO-Agentschap in Manchester. en PPC Agency in Manchester helpt ambitieuze bedrijven online te groeien.