WordPress Robots.txt: So lässt sie sich erstellen und nutzen!

Aus gegebenen Anlass heute mal wieder eine kleine Basic Einführung für WordPress. Übrigens gab es gestern Abend das Update auf die neue WordPress Version, nicht vergessen zu updaten!

Aber jetzt gehts los, also warum gehe ich hier auf die robots.txt ein?

Folgendes ist mir passiert – ich habe gestern in meinem Google Webmastertool bemerkt, dass es in meinem Blog, wunderlicherweise, doch einige doppelte Meta Beschreibungen und Titel aufgetaucht sind, hier mal ein kleines Bild von dem beschriebenen Zustand:

Webmaster Tools robots.txt

Geniale Themes: MyThemeShop
MyThemeShop
Vorteile:
MyThemeShop Vorteile
  • Extrem schöne WordPress Themes
  • Bereits SEO-optimiert und flexibel einsetzbar
  • Einzelkauf oder Premium Abo möglich

Klickt man in den Google Webmaster Tools auf die Fehlermeldung, beziehungsweise HTML Verbesserung kommt man auf diese Zeilen:

Das Problem: Wo ist die robot.txt in meinem WordPress?

Wie im Beispiel zu sehen, werden diese doppelten Tags durch den RSS Feed hervorgerufen und so wollte ich diesen einfach kurzer Hand in der robots.txt auf “Disallow” setzen, damit er nicht mehr von Google gecrawlt wird.

Also FileZilla geöffnet, zum Server verbunden, in den entsprechenden Ordner dieser WordPress Installation manövriert und was sehe ich da? Es gibt gar keine robots.txt, nicht im Hauptverzeichnis und in keinem Unterverzeichnis, einfach keine da.

Rufe ich aber meinen Blog mit der URL + /robots.txt auf, bekomme ich eine robots.txt mit Inhalt zu sehen. Sehr verwundert musste ich dann auch erst einmal Google bemühen und ich fand relativ schnell heraus, dass die robots.txt von WordPress nur auf Anfrage virtuell erstellt wird.

Die Lösung: Einfach, aber effektiv

Daraufhin habe ich versuchsweise einfach eine robot.txt erstellt und in das Hauptverzeichnis meiner Installation hochgeladen. Den entsprechenden Pfad im Browser aufgerufen und siehe da, die robot.txt funktioniert.

Conversion-Plugins: Flytools
Flytools
Vorteile:
Flytools Vorteile
  • Ideal um Webinar- oder Mitglieds-seiten zu erstellen
  • Conversionstarke Buttons schnell & einfach erstellen

Heißt also für dich: Solltest du deine robot.txt auch vermissen oder willst du diese ergänzen, erstelle dir einfach eine und lade diese ins Root-Verzeichnis per FTP hoch.

Natürlich gibt es auch noch eine elegantere Lösung, die virtuelle robots.txt muss ja auch irgendwo erstellt werden. Dies geschieht in “wp-functions.php”, dort kannst du deine Befehle natürlich auch ergänzen, allerdings solltest du dich ein wenig mit PHP auskennen. Ich denke die Lösung, einfach eine robots.txt zu erstellen, ist wohl für die meisten die einfachere Variante.

Wie sieht meine robots.txt aus?

Auch hier braucht man nicht lange suchen, WordPress liefert nämlich in seinem Codex eine eigene SEO freundliche Version mit. Diese sieht wie folgt aus:

So vermeidest du in Zukunft Kollisionen von deinem richtigen Content und deinen Feeds. Desweiteren kannst du hier natürlich noch andere Einstellungen treffen, wie zum Beispiel die Author Archive zu verbergen oder auch deine Tags nicht indexieren zu lassen.

Für all diese Aufgaben, bezüglich der Erweiterungen im Suchmaschinen Optimierungsbereich, nutze ich aber am Liebsten ein SEO Plugin wie Yoast SEO.

Projekteplattform: Freelancer
Freelancer
Kernbereiche:
Freelancer Aufgaben
  • Programmier-aufträge vergeben und finden
  • Kostenlose Joberstellung
  • 15 € Startguthaben geschenkt
Bewerte diesen Artikel
1 Stern2 Sterne3 Sterne4 Sterne5 Sterne

1 Bewertung(en), durchschnittlich: 5,00 von 5

Loading...

2 Kommentare zu WordPress Robots.txt: So lässt sie sich erstellen und nutzen!

  1. Peter sagt:

    Wenn in der robots.txt die /feed und */feed auf DISALLOW steht, dann wird euer Blog z.B. nicht in der Google Blogsearch gelistet.

  2. Björn sagt:

    Danke, genau so etwas habe ich gesucht. Das von google war wirklich nicht zu verstehen für jemand normales. Die obige Datei ist auch gut zu gebrauchen für alle die etwas suchen zum Linkcloaking oder Maskieren.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

How-to-WordPress.de unterstützt dofollow und ist somit nofollow frei.