Was ist Robots.txt und wie funktioniert es?

Andrei Iordache

Andrei Iordache

WordPress Entwickler

🚀 Ich helfe Menschen online gefunden zu werden | WordPress Entwicklung, Core Web Vitals, Sicherheit&Wartung

Was ist die Datei Robots.txt?

Eine robots.txt Datei ist eine Textdatei, mit der Webroboter (auch Webspider oder Crawler genannt) angewiesen werden, eine Website zu crawlen und zu indizieren.

Die Datei robots.txt ist Teil des Robots-Exclusion-Standards (REP), eines Protokolls mit einem kleinen Satz von Befehlen, die für die Kommunikation mit Web-Robots verwendet werden können.

Am häufigsten wird die Datei robots.txt verwendet, um Webroboter daran zu hindern, eine Website ganz oder teilweise zu indizieren. Dazu werden in der Datei robots.txt eine oder mehrere Verbotsregeln festgelegt. Beispielsweise könnte der Datei robots.txt eine Regel hinzugefügt werden, die Webrobotern die Indizierung des Verzeichnisses /images/ auf einer Website untersagt.

Robots.txt und Sitemap.xml


Im Allgemeinen teilt eine robots.txt-Datei Web-Robotern oder “Spidern” mit, welche Seiten Ihrer Website sie crawlen und indizieren sollen. Eine sitemap.xml-Datei liefert zusätzliche Informationen über die Struktur Ihrer Website, die für Suchmaschinen sehr hilfreich sein können.

Die beiden Dateien ergänzen sich, müssen aber nicht zusammen verwendet werden. Wenn Sie nur eine robots.txt-Datei haben, ist das völlig in Ordnung. Ebenso ist es in Ordnung, wenn Sie nur eine sitemap.xml-Datei haben. Es kann jedoch von Vorteil sein, beide Dateien zu verwenden, insbesondere wenn Sie eine große Website mit einer komplexen Struktur haben.

Eine robots.txt-Datei wird in der Regel im Stammverzeichnis einer Website abgelegt. Wenn Ihre Website z. B. www.example.com heißt, befindet sich Ihre robots.txt-Datei unter www.example.com/robots.txt.

Eine sitemap.xml Datei kann an beliebiger Stelle auf Ihrer Website platziert werden, befindet sich aber in der Regel ebenfalls im Stammverzeichnis. Wenn Ihre Website zum Beispiel www.example.com heißt, wäre Ihre sitemap.xml-Datei www.example.com/sitemap.xml.

Der Vorteil einer robots.txt-Datei ist, dass Sie angeben können, welche Seiten Ihrer Website nicht gecrawlt und indiziert werden sollen. Dies kann nützlich sein, wenn Sie Seiten mit sensiblen Informationen haben, die nicht in den Suchergebnissen auftauchen sollen.

Der Vorteil einer sitemap.xml-Datei besteht darin, dass Sie den Suchmaschinen zusätzliche Informationen über die Struktur Ihrer Website zur Verfügung stellen können. Dies kann vor allem bei großen Websites sehr hilfreich sein, da die Suchmaschinen so den Inhalt Ihrer Website besser verstehen können.

Im Allgemeinen ist es eine gute Idee, sowohl eine robots.txt-Datei als auch eine sitemap.xml-Datei zu verwenden, wenn Sie eine große Website mit einer komplexen Struktur haben. Auf diese Weise erhalten die Suchmaschinen die meisten Informationen über Ihre Website und können sie besser crawlen und indexieren.

Die Datei robots.txt wird auch verwendet, um den Speicherort der Sitemap für eine Website anzugeben. Die Sitemap ist eine Datei, die eine Liste aller Seiten einer Website enthält. Durch die Angabe der Sitemap in der robots.txt-Datei können Webroboter alle Seiten einer Website leicht finden und indizieren.

Webroboter müssen sich nicht an die in der robots.txt-Datei festgelegten Regeln halten. Die meisten Webroboter unterstützen jedoch den Robots-Ausschlussstandard und befolgen die in der robots.txt-Datei angegebenen Regeln.

Robots.txt Regeln


Die in der Datei robots.txt angegebenen Regeln werden auf alle Webroboter angewendet, die eine Website crawlen. Es ist nicht möglich, Regeln für einen bestimmten Webroboter festzulegen.

Die Datei robots.txt muss im Stammverzeichnis einer Website abgelegt werden. Wenn die URL einer Website beispielsweise http://www.example.com/ lautet, muss sich die robots.txt-Datei unter http://www.example.com/robots.txt befinden.

Die robots.txt-Datei kann mehrere Regeln enthalten. Jede Regel muss in einer eigenen Zeile stehen.

Eine Regel besteht aus zwei Feldern, einem Feldnamen und einem Feldwert. Auf den Feldnamen folgt ein Doppelpunkt (:) und der Feldwert. Zum Beispiel:

User-agent: *

Disallow: /

Die obige Regel würde allen Web-Robotern die Indizierung von Seiten auf der Website verwehren.

Es können mehrere Feldwerte für einen Feldnamen angegeben werden, indem die Werte durch ein Komma (,) getrennt werden. Zum Beispiel:

User-agent: *

Disallow: /images/, /cgi-bin/

Die obige Regel würde alle Webroboter daran hindern, die Verzeichnisse /images/ und /cgi-bin/ auf der Website zu indizieren.

Eine Regel kann ohne einen Feldwert angegeben werden. Zum Beispiel:

User-agent: *

Disallow:

Die obige Regel würde es allen Web-Robotern ermöglichen, alle Seiten der Website zu indizieren.

Kommentare können in die robots.txt-Datei eingefügt werden, indem eine Zeile mit einem Rautezeichen (#) beginnt. Kommentare werden von Web-Robotern ignoriert. Zum Beispiel:

# This is a comment

User-agent: *

Disallow: /

Die obige robots.txt Datei würde allen Web-Robotern die Indizierung von Seiten auf der Website verwehren.

Die Reihenfolge der Regeln in der robots.txt-Datei ist wichtig. Die erste passende Regel wird angewandt. Betrachten Sie zum Beispiel die folgende robots.txt-Datei:

User-agent: *

Disallow: /

User-agent: Google

Disallow:

Die obige robots.txt Datei würde allen Web-Robotern die Indizierung von Seiten auf der Website verwehren, mit Ausnahme des Google-Web-Roboters.

Schlussfolgerung


Wenn Sie eine WordPress-Website besitzen, sollten Sie unbedingt eine robots.txt-Datei verwenden. Diese Datei wird verwendet, um Suchmaschinen-Bots, auch bekannt als Web-Crawler, anzuweisen, welche Seiten auf Ihrer Website sie indizieren und crawlen dürfen.

Sie fragen sich vielleicht, warum Sie eine robots.txt-Datei verwenden müssen, wenn Ihre WordPress-Website bereits so eingestellt ist, dass sie von Suchmaschinen indiziert wird. Die Antwort ist, dass eine robots.txt-Datei Ihnen mehr Kontrolle darüber gibt, wie Suchmaschinen Ihre Website indizieren.

Nehmen wir zum Beispiel an, Sie haben eine WordPress-Website mit einem Blog und einem WooCommerce-Shop. Sie möchten vielleicht, dass die Suchmaschinen Ihre Blog-Einträge indizieren, damit sie bei der Suche nach Schlüsselwörtern zu Ihrem Inhalt gefunden werden können. Möglicherweise möchten Sie aber nicht, dass die Suchmaschinen Ihre WooCommerce-Seiten indizieren, weil Sie nicht möchten, dass die Besucher Ihre Produktseiten finden, bevor sie Ihre Website erreichen.

In diesem Fall würden Sie eine robots.txt-Datei verwenden, um den Suchmaschinen mitzuteilen, dass sie nur Ihre Blogseiten indizieren sollen. Auf diese Weise haben Sie mehr Kontrolle darüber, wie Besucher Ihre Website finden, und können sicherstellen, dass sie das gewünschte Ziel erreichen.

Es gibt noch andere Gründe, warum Sie eine robots.txt-Datei auf Ihrer WordPress-Website verwenden sollten. Wenn Sie beispielsweise passwortgeschützte Seiten haben, können Sie die robots.txt-Datei verwenden, um den Suchmaschinen mitzuteilen, dass diese Seiten nicht indiziert werden sollen. Auf diese Weise wird sichergestellt, dass nur Personen, die das Passwort kennen, auf den Inhalt dieser Seiten zugreifen können.

Insgesamt ist die Verwendung einer robots.txt-Datei auf Ihrer WordPress-Website eine gute Idee, wenn Sie mehr Kontrolle darüber haben möchten, wie die Suchmaschinen Ihre Website indizieren. Es ist auch eine gute Idee, wenn Sie bestimmte Seiten Ihrer Website vor der Indizierung schützen möchten.

Bonus


Ein kurzer Bonustipp: Vergessen Sie nicht, Ihren Sitemap-Link in die robots.txt-Datei einzufügen.

Vorheriger Beitrag
[SOLVED] WordPress 6.1 und WPML – Es ist ein kritischer Fehler auf dieser Website aufgetreten.
Nächster Beitrag
Was ist eine Sitemap?
Lusi StudiosLusi Studios
15:32 22 Jun 22
Andrei did an amazing job! He helped in a very rushed time and he excelled at everything. Thanks again!
I am grateful and I would to thank Websites Seller for their support in site recovery and site transfer. Websites Seller just saved my business. Thank you!
Wouter GhysensWouter Ghysens
11:52 10 Sep 21
Looking for a Wordpress transfer from site A to site B, I found back Andrei from Wesites Seller on Google.He was very proactive in his approach, came with hundreds of ideas and lifetime experiences from other migrations. He knows the wordpress, the hosting and php database as the back of his pocket.And we worked out this migration very smooth. Together we solved it, and myself and my business are very pleased with his approach.100% recommendation & kudo's from out of Belgium!
Ioachim CiobanuIoachim Ciobanu
18:39 14 Jul 21
Websites Seller built my resume site. Deliverables were quickly completed, and I was asked for my feedback at each stage of development. All feedback I gave was implemented in a short time.Another great thing is that he comes with smart solutions, regarding stuff which I didn't initially think of (site security, Google site speed optimization and so on). Basically, he was great, staying in touch, keeping me updated and paid attention to what was most important for my site.Overall, I am very happy with the work done. I highly recommend this developer!
K CollinsK Collins
09:11 19 May 21
I needed help with website speed - to improve my core web vitals - without compromising the usability of my site. Andrei was extremely responsive, proactive and fast. And more importantly, he increased by website speed. Highly recommend him, and I will be using him going forward on all my projects.

Dienstleistungen

WordPress Website Maintenance Services

WordPress Wartungsdienste

WordPress Website Wartungs Service, der Cloud Backups, Notfall Support, wöchentliche Website Updates, Geschwindigkeit und vieles mehr bietet.

sally

WordPress Migrationsdienst

Übertragen Sie Ihre WordPress-Website sicher an einen neuen Standort für $75. … Migrieren Sie Ihre Website zu ihrem neuen Hoster.

lawyer-office

Anwalts Web design

Wir sind spezialisiert auf Website-Design, Internet-Marketing und SEO für Anwälte und Juristen in ganz Europa und den USA.