Aus gegebenen Anlass heute mal wieder eine kleine Basic Einführung für WordPress. Übrigens gab es gestern Abend das Update auf die neue WordPress Version, nicht vergessen zu updaten!
Aber jetzt gehts los, also warum gehe ich hier auf die robots.txt ein?
Folgendes ist mir passiert – ich habe gestern in meinem Google Webmastertool bemerkt, dass es in meinem Blog, wunderlicherweise, doch einige doppelte Meta Beschreibungen und Titel aufgetaucht sind, hier mal ein kleines Bild von dem beschriebenen Zustand:
Klickt man in den Google Webmaster Tools auf die Fehlermeldung, beziehungsweise HTML Verbesserung kommt man auf diese Zeilen:
1 2 | /wordpress-einrichten-plugins/ /wordpress-einrichten-plugins/?utm_source=rss&utm_medium=rss&utm_campaign=… |
Conversion-Plugins: Flytools  | Vorteile:  |
 |
Das Problem: Wo ist die robot.txt in meinem WordPress?
Wie im Beispiel zu sehen, werden diese doppelten Tags durch den RSS Feed hervorgerufen und so wollte ich diesen einfach kurzer Hand in der robots.txt auf “Disallow” setzen, damit er nicht mehr von Google gecrawlt wird.
Also FileZilla geöffnet, zum Server verbunden, in den entsprechenden Ordner dieser WordPress Installation manövriert und was sehe ich da? Es gibt gar keine robots.txt, nicht im Hauptverzeichnis und in keinem Unterverzeichnis, einfach keine da.
Rufe ich aber meinen Blog mit der URL + /robots.txt auf, bekomme ich eine robots.txt mit Inhalt zu sehen. Sehr verwundert musste ich dann auch erst einmal Google bemühen und ich fand relativ schnell heraus, dass die robots.txt von WordPress nur auf Anfrage virtuell erstellt wird.
Die Lösung: Einfach, aber effektiv
Daraufhin habe ich versuchsweise einfach eine robot.txt erstellt und in das Hauptverzeichnis meiner Installation hochgeladen. Den entsprechenden Pfad im Browser aufgerufen und siehe da, die robot.txt funktioniert.
Heißt also für dich: Solltest du deine robot.txt auch vermissen oder willst du diese ergänzen, erstelle dir einfach eine und lade diese ins Root-Verzeichnis per FTP hoch.
Natürlich gibt es auch noch eine elegantere Lösung, die virtuelle robots.txt muss ja auch irgendwo erstellt werden. Dies geschieht in “wp-functions.php”, dort kannst du deine Befehle natürlich auch ergänzen, allerdings solltest du dich ein wenig mit PHP auskennen. Ich denke die Lösung, einfach eine robots.txt zu erstellen, ist wohl für die meisten die einfachere Variante.
Conversion-Plugins: Flytools | Vorteile: |
|
Wie sieht meine robots.txt aus?
Auch hier braucht man nicht lange suchen, WordPress liefert nämlich in seinem Codex eine eigene SEO freundliche Version mit. Diese sieht wie folgt aus:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 | Sitemap: http://www.deineseite.de/sitemap.xml # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: # digg mirror User-agent: duggmirror Disallow: / # global User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: /category/*/* Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Disallow: /*? Allow: /wp-content/uploads/ |
So vermeidest du in Zukunft Kollisionen von deinem richtigen Content und deinen Feeds. Desweiteren kannst du hier natürlich noch andere Einstellungen treffen, wie zum Beispiel die Author Archive zu verbergen oder auch deine Tags nicht indexieren zu lassen.
Für all diese Aufgaben, bezüglich der Erweiterungen im Suchmaschinen Optimierungsbereich, nutze ich aber am Liebsten ein SEO Plugin wie Yoast SEO.
Loading...
2 Kommentare zu WordPress Robots.txt: So lässt sie sich erstellen und nutzen!