Suchmaschinen vom Indexieren einer Seite abhalten

Veröffentlicht von Tudor - 20. Oktober 2016

Wer will schon Suchmaschinen davon abhalten Webseiten zu indexieren? Niemand natürlich, aber manchmal will man vielleicht Etwas geheim halten und nur ein paar Leuten/Lesern Zugang zu bestimmten Artikeln ermöglichen. Wenn du nach einer Möglichkeit schaust, den Zugang zu einer Internetseite einzuschränken und du Suchmaschinen davon abhalten willst spezifische Seiten zu indexieren, dann folge den Anweisungen

suchmaschinen_index

Robots.txt

Suche deine robots.txt -Datei auf dem Server. Wenn Du keine hast, kannst Du eine neue Datei erstellen und robots.txt nennen. Mit dem User-Agent kannst du einstellen, welche Suchmaschinen dich nicht indexieren können. Wenn du zum Beispiel nur sicher gehen möchtest das Google deine Seite indexiert, dann setze den User-Agent auf „googlebot“(User-agent:googlebot). Um alle Suchmaschinen daran zu hindern deine Seite zu „crawlen“ und zu indexieren, setze den User-Agent auf „*“(User-agent:*). Um eine vollständige Liste an Robots zu bekommen, welche deine Seite durchsuchen können, besuche die Robots-Datenbank: http://www.robotstxt.org/db.html Hier sind ein paar übliche robots.txt -Setups (sie werden unten im Detail erläutert).

VOLLSTÄNDIGEN ZUGANG ERLAUBEN:

User-agent: *Disallow:
EINEN FOLDER (ORDNER) VERBIETEN:

User-agent: *Disallow: /folder/
ZUGANG VOLLSTÄNDIG SPERREN:

User-agent: *Disallow: /
EINE DATEI VERBIETEN:

User-agent: *Disallow: /file.html

Meta-Tag

Die zweite Methode, die ich persönlich empfehlen kann, ist, das HTML -Meta-Tag zu benutzen. Füge innerhalb des Head-Tags folgendes Meta-Tag hinzu:

<meta name="robots" value="">

Innerhalb des Inhaltsattribut von der Robots.txt kannst du eine Reihe von Werten verwenden. Man kann dem Robots-Meta-Tag mehrere Werte geben in dem man sie mit Komma trennt. Hier eine Liste aller Werte die du innerhalb des Robots-Meta-Tags nutzen kannst:

  • index – Ermöglicht Suchmaschinen die Seite zu indexieren.
  • noindex – Sagt der Suchmaschine die Seite nicht zu indexieren.
  • nofollow – Sagt der Suchmaschine dass sie den Links der Seite nicht folgen soll.
  • follow – Ermöglicht Suchmaschinen dass sie den Links der Seite folgen kann.
  • noimageindex – Sagt der Suchmaschine dass sie den Bildern der Seite nicht indexieren soll.
  • none – Das ist eine Verknüpfung zu noindex, nofollow.
  • noarchive – Verbietet Suchmaschinen eine zwischengespeicherte Version der Seite anzuzeigen.
  • nocache – Das ist das gleiche wie noarchive aber es funktioniert Bing.
  • nosnippet – Verbietet Suchmaschinen ein Snippet in den Ergebnissen anzuzeigen.
  • noodp – Verbietet Suchmaschinen eine Beschreibung von DMOZ anzuzeigen.
  • noydir – Verbietet Suchmaschinen eine Beschreibung der Yahoo Directory anzuzeigen

Das könnte Dich auch interessieren

Strategien zur langfristigen Mitarbeiter-Bindung

Die Bindung kompetenter und erfahrener Mitarbeiter an das Unternehmen ist keine Tagesaufgabe, sondern sollte eine ständige Priorität darstellen, denn: keine M...

Online-Projektmanagement – Einblick in den Praktikantenalltag bei den Media Favoriten

Hey! Schön dass Ihr hier seid und herzlich Willkommen zur Blogreihe „Arbeitsalltag der Praktikanten“. Mein Name ist Jessica und ich habe von September 2019...

Print-Button für Webseiten

Manchmal will eben auch im digitalen Zeitalter etwas drucken. Manchmal ist das dann aber kein einfache Word-Dokument sondern eine Webseite. Aber was machen wenn...