So überprüfen Sie, ob Ihre Seite indiziert ist und wie Sie die Indexierungsprobleme beheben

Haben Sie Probleme, Ihre Webseite durch Online-Suchen zu finden? In diesem Beitrag erfahren Sie, wie Sie überprüfen, ob Ihre Seite indiziert ist.

Wenn Sie für nichts, was Sie versuchen, ein Ranking erstellen, hat dies möglicherweise nichts mit der Qualität Ihres Inhalts zu tun — es kann sich um ein Indizierungsproblem handeln.

Jede Suchmaschine bezieht ihre Ergebnisse aus einem Index, und wenn eine Webseite in diesem Index fehlt, kann sie offensichtlich nicht in den Ergebnissen erscheinen. Aus diesem Grund kann ein Indizierungsproblem dazu führen, dass alle Ihre hochwertigen Inhalte und die Onpage-Optimierungsarbeit vollständig verschwendet werden.

Wenn Sie sich nicht sicher sind, ob Ihre Webseiten ordnungsgemäß indiziert sind, oder wenn Sie Ratschläge zur Lösung eines Indizierungsproblems benötigen, ist dies der richtige Artikel für Sie. Wir werden uns ansehen, wie die Indizierung funktioniert, was die häufigsten Indizierungsprobleme sind und wie Sie die erforderlichen Änderungen vornehmen können, um sicherzustellen, dass Sie nicht erneut unter Indizierungsproblemen leiden.

Funktionsweise der Indizierung

Wenn neue Websites oder Seiten online gehostet werden, melden sie sich nicht bei Suchmaschinen an — die Suchmaschinen müssen sich anstrengen, um sie zu finden. Die Art und Weise, wie sie dies tun, erfolgt über Suchmaschinen-Bots (auch als Crawler bezeichnet). Crawler navigieren, wie der Name schon sagt, durch Websites und folgen internen und externen Links mit dem Ziel, alle gefundenen Inhalte zu indizieren und zu organisieren.

Alle auf dem Weg gesammelten Daten werden im Index gespeichert und können von der Suchmaschine verwendet werden. Wenn ein Benutzer eine Suchanfrage einreicht, führt die Suchmaschine Folgendes aus:

• Analysieren Sie die Abfrage, um die Suchabsicht am besten zu beurteilen.
• Filtern Sie den Index gemäß der abgeleiteten Absicht.
• Wählen Sie alle Seiten aus, die als geeignet erachtet werden (unter Berücksichtigung einer Vielzahl von Faktoren).
• Präsentieren Sie sie dem Benutzer in der Reihenfolge ihrer Relevanz.

Da Seiten regelmäßig aktualisiert werden, deren Qualität und Relevanz für bestimmte Themen steigen oder fallen, müssen Crawler regelmäßig zu indizierten Websites zurückkehren. Wie regelmäßig eine Website gecrawlt wird, hängt davon ab, wie häufig sie sich ändert, wie viel Autorität sie hat und von zahlreichen anderen Metriken.

Warum einige Seiten nicht indiziert werden sollten

Suchindizes sind nicht nur Datenbanken mit allem, was von Crawlern gefunden wird.

Es gibt drei Gründe, warum es eine schlechte Idee wäre, absolut jeden Live-Link in einem Suchindex aufzulisten:

• Der Zweck eines Suchindex besteht darin, Seiten zu speichern, die für die Absicht des Suchenden relevant sind, und bestimmte Seiten (und Seitentypen) enthalten keinen solchen Inhalt und sind es nicht wert, aufgenommen zu werden. Beispielsweise können Websites mit Produktfiltern häufig automatisch lange Listen mit verschiedenen URLs für gefilterte oder sortierte Ansichten generieren, und viele dieser Ansichten sind für niemanden von Interesse. Wenn mehrere Seiten denselben Inhalt haben, sollte außerdem nur eine davon zurückgegeben werden: Suchende profitieren nicht von mehreren Ergebnissen mit demselben Inhalt.
• So wie eine Seite inhaltlich geeignet sein muss, muss sie auch technisch auf dem neuesten Stand sein. Wenn ein Benutzer auf einen Suchergebnislink klickt und die Seite niemals geladen wird, Spam-Popups öffnet oder eine inakzeptable Benutzererfahrung bietet, spiegelt dies die Suchmaschine schlecht wider und entmutigt den Benutzer.
• Suchmaschinen möchten, dass Websitebesitzer sich selbst kuratieren, da es keinen Vorteil hat, Seiten einzuschließen, die die Eigentümer nicht indizieren möchten. Manchmal möchten Websitebesitzer Inhalte für die Nachwelt aufbewahren, archivieren sie jedoch, weil sie veraltet und / oder nicht für den Zweck geeignet sind. Suchergebnisse sollten auf den lohnendsten Seiten gehalten werden, und das sind die Seiten, die Website-Besitzer aktiv gesehen werden wollen.

Infolgedessen gibt es verschiedene Dinge, die dazu führen können, dass eine Seite von einem Suchanbieter nicht indiziert wird. Der Crawler kann nicht nur entscheiden, dass eine Seite es nicht wert ist, aufgenommen zu werden, sondern der Websitebesitzer kann auch angeben, dass eine Seite nicht indiziert werden sollte, und sogar bestimmte Links markieren, um Crawler anzuweisen, ihnen überhaupt nicht zu folgen.

So sehen Sie, ob eine Seite indiziert wurde

Um zu sehen, ob eine Seite von Google indiziert wurde, verwenden Sie unseren kostenlosen Google Index Checker. Sie können dieses Tool verwenden, um bis zu 10 URLs gleichzeitig zu überprüfen. Wenn eine Seite nicht indiziert ist, wird Ihnen mitgeteilt, ob zumindest die Domain indiziert ist (dh einige andere Seiten aus der Domain sind indiziert).

Häufige Gründe, warum eine Seite nicht indiziert wird

Wie bereits erwähnt, gibt es zahlreiche Gründe, warum eine Seite nicht indiziert wird. Hier sind die häufigsten:

• Crawler können es nicht finden. Wenn Ihre Website keine umfassende XML-Sitemap (eine Liste aller zu indizierenden Seiten) oder interne Links zu einer bestimmten Seite enthält oder tief in Ordnern vergraben ist, kann ein Crawler sie häufig nicht finden und kann sie daher nicht indizieren.
• Die Seite ist auf ’noindex‘ gesetzt. Selbst wenn Sie einen internen Link zu einer Seite oder einen externen Link haben, der von einer anderen Domain darauf verweist, wurde die Seite möglicherweise als ’noindex‘ markiert, was dazu führt, dass Crawler sie ignorieren.
• Es ist in Robotern blockiert.txt. Jeder Webserver stellt eine Datei namens robot zur Verfügung.txt, das Anweisungen für Crawler enthält. Wenn ein Roboter.txt-Datei verbietet allen Crawlern die Indizierung der Site, das ist offensichtlich ein enormes Problem. Obwohl das ungewöhnlich ist, ist es nicht so selten, dass ein Entwickler versucht, bestimmte Seiten zu blockieren, aber versehentlich weit mehr blockiert.
• Das Qualitätsniveau ist nicht hoch genug. Wenn Ihre Domain Links mit geringem Wert und nicht genügend Inhalt (oder gar keinen Inhalt) enthält, können Suchmaschinen beschließen, einige oder alle Ihrer Seiten nicht zu bewerten, um einen hohen Standard aufrechtzuerhalten.

Es gibt verschiedene andere mögliche Ursachen dafür, dass Seiten nicht indiziert werden, aber sie können technisch sehr komplex sein und hängen von der genauen Art Ihrer Website ab. In den allermeisten Fällen wird die Erklärung eine der oben aufgeführten sein.

Die Folgen von Indexierungsproblemen

Wie stark eine Website von Indexierungsproblemen betroffen ist, hängt von der Art und Breite der Probleme sowie von den betroffenen Seiten ab. Wenn eine kleinere Seite auf Ihrer Website nicht indiziert wird, ist dies nicht das Ende der Welt, aber wenn ein qualitativ hochwertiges, SEO-freundliches Stück Evergreen Content nicht indiziert wird, ist dies eine erhebliche Verschwendung von Aufwand.

Und für Websites im E-Commerce-Bereich ist die Indexierung noch wichtiger. Organischer Traffic ist bei weitem die kostengünstigste Form des Traffics für Produktseiten, da es im Gegensatz zu PPC- oder Social-Media-Werbung nichts kostet, in den Suchergebnissen zu erscheinen. Wenn die Hälfte der Produkte eines Unternehmens nicht indexiert wird, verringern sich die Konversionsmöglichkeiten erheblich.

Wissen, wann eine Seite indiziert wird

Es ist sehr üblich, dass Websitebesitzer eine bestimmte Frage stellen: Wann wird meine Seite indiziert? Leider gibt es keine Möglichkeit, dies abschließend zu wissen. Selbst wenn Sie absolut alles richtig machen und sich strikt an die Richtlinien von Google und anderen Suchanbietern halten, hängt dies von Faktoren ab, die außerhalb Ihrer Kontrolle liegen.

Da Suchindizes Millionen und Abermillionen von Seiten aus der ganzen Welt umfassen und ihre Crawlings regelmäßig aktualisieren müssen, um aktuelle Informationen sicherzustellen, kann Ihre Seite morgen, nächste Woche oder in ein paar Monaten indiziert werden.

Nachhaltigkeit ist nur durch betriebliche Effizienz möglich, und es gibt keine Effizienz oder keinen Wert, sich zu bemühen, absolut alles dringend zu indizieren. Aus diesem Grund spricht Google von einem Crawl-Budget, das bestimmt, wie häufig eine Seite gecrawlt wird.

So überprüfen Sie Ihr Web-Setup für die Indizierung

Um sicherzustellen, dass indizierte Seiten ordnungsgemäß indiziert bleiben, neue Seiten zu dieser Liste hinzugefügt werden und unerwünschte Seiten nicht enthalten sind, ist es für jedes Unternehmen mit einer großen Webpräsenz wichtig, Zeit und Ressourcen für dieses spezielle SEO-Problem bereitzustellen.

Auf einer etwas regelmäßigen Basis (vielleicht alle drei Monate oder so), sollten Sie eine gründliche Überprüfung der folgenden Dinge durchführen:

• Die Informationsarchitektur Ihrer Website. Funktioniert aus technischer Sicht alles so, wie es sollte? Behandelt der Server die Last so, wie er sollte?
• Ihre interne Verknüpfungsstruktur. Haben Sie genügend interne Links, um regelmäßiges Crawlen zu unterstützen? Sie können mit internen Links ziemlich liberal umgehen, da sie einen nützlichen Kontext bieten, aber gehen Sie nicht über Bord, da dies eine Strafe riskiert.
• Ihre Breadcrumb-Einrichtung. Sind die Seiten korrekt verschachtelt und in die richtigen Kategorien eingeteilt? Die Aufrechterhaltung einer logischen internen Struktur ist sehr wichtig, um Suchmaschinen zu zeigen, dass es sich lohnt, Ihre Seiten zu indizieren.

Dies erfordert zwar nicht, dass Sie IT-Experte werden, Sie müssen sich jedoch entweder mit all diesen Konzepten vertraut machen oder sich an jemanden wenden, der genau weiß, wie Sie diese Dinge überprüfen und erforderliche Änderungen vornehmen können.

Wo die Indizierung in Ihre SEO-Strategie passt

Wenn Unternehmen darüber nachdenken, wie SEO in ihre Marketingstrategien einfließt, neigen sie dazu, technische SEO-Überlegungen als Bedenken mit niedriger Priorität zu betrachten. Andere SEO-Überlegungen wie Content Marketing oder Social Media Outreach sind kreativer und werden daher als glamouröser und interessanter angesehen.

Das Problem bei dieser Denkweise ist natürlich, dass es extrem töricht ist, die technischen Grundlagen zu übersehen. Wenn Ihr Budget für eine langwierige Kampagne mit bezahlter Werbung, Social—Media-Arbeit, Content-Produktion und Markenvertretung jedoch nicht erkennt, dass Sie Autorität um eine Seite aufbauen, die in Google nicht indiziert werden kann, ist dies eine sinnlose Investition – sobald die Kampagne endet, wird Ihr Traffic so gut wie wieder verschwinden.

Verwenden von Indizes für die Konkurrenzforschung

Abgesehen von Ihrer eigenen Indizierung gibt es einen weiteren Aspekt von Suchindizes, der eine Erwähnung rechtfertigt: die Konkurrenzforschung. Wenn Sie sich ansehen, welche Seiten der Index Ihres Konkurrenten ist (und welche nicht), können Sie sich ein Bild davon machen, was er tut, und haben die Möglichkeit, seine Strategien zurückzuentwickeln.

Denken Sie nur daran, wie viele Informationen Ihnen durch einfache Google-Suchen kostenlos zur Verfügung stehen. Wenn Sie ein wenig Zeit investieren, um zu überprüfen, wie andere Unternehmen in Ihrer Branche mit Indizierung, Backlinks und Suchergebnissen im Allgemeinen umgehen, werden Sie viel daraus machen.

So überprüfen Sie, ob Ihre Seite indiziert ist

Der Aufbau einer Website zu einer hart umkämpften Online-Präsenz ist im besten Fall eine Herausforderung, unabhängig davon, wie viele großartige Inhalte Sie haben oder wie gut Sie mit Ihrem Publikum interagieren. Es braucht Zeit und Konsistenz, und es gibt viele andere hervorragende Websites, die es wert sind, über Ihnen eingestuft zu werden, wenn Sie Ihre Standards verrutschen lassen.

Da Sie so viel Zeit und Mühe in Inhalt, Reichweite und UX-Entwicklung investieren müssen, ist es absolut wichtig, dass Sie sicherstellen, dass Sie nicht durch ein grundlegendes technisches Problem wie die nicht Indizierung wichtiger Seiten zurückgehalten werden.

Wir haben behandelt, was Indizierung ist, warum es so wichtig ist und wie Sie Maßnahmen ergreifen können, um häufige Indizierungsprobleme zu identifizieren und zu überwinden. Der Rest liegt an dir. Nehmen Sie sich die Zeit, Ihr Setup gründlich zu überprüfen, und planen Sie halb häufige Überprüfungen ein, um sicherzustellen, dass Ihre Bemühungen nicht durch vermeidbare technische Probleme untergraben werden.

Kayleigh Toyra: Content Strategist

Halb finnischer, halb britischer Vermarkter mit Sitz in Bristol. Ich liebe es zu schreiben und Themen wie Storytelling und Customer Experience Marketing zu erforschen. Ich leite ein kleines Team von Autoren in einer Boutique-Agentur.