Robots.txt

MoreFire Text in Kreisform: Online Marketing seit 2005

Die Robots.txt Datei ist eine Textdatei, die Suchmaschinencrawler vorschreibt, welche Unterseiten einer Domain gecrawlt und indexiert werden dürfen und welche nicht. Es können Dateien, URLs, Verzeichnisse oder ganze Domains vom Crawlen ausgeschlossen werden.
Außerdem kann man in der robots.txt Datei auch vorschreiben, welche Suchmaschinenbots eine Seite überhaupt crawlen dürfen.
Die Textdatei wird im Root Verzeichnis einer Website hinterlegt und ist so das erste Dokument, das vom Suchmaschinenbot aufgerufen wird, wenn dieser auf die Seite gelangt. Die Robots.txt Datei lässt sich unter https://www.domain.de/robots.txt aufrufen.
Beispiel:
Soll ein Verzeichnis vom Crawlen des Googlebots ausgeschlossen werden, so steht folgendes in der Robots.txt Datei:
User-agent: Googlebot
Disallow: /verzeichnis/

Mehr dazu hier!

Kontakt

Mehr Feuer für Dein Online Marketing?

Willst Du wissen, wie Du Growth Marketing in Deinem Unternehmen einsetzten kannst? Dann sollten wir unbedingt miteinander reden. Mit unserem Know-how und unserer Erfahrung können wir Dir ganz bestimmt helfen.