Seite 1 von 1
Wieso indexiert Google meine Seite trotz robots.txt?
Verfasst: 10.04.2007, 16:25
von zxx
Hallo,
meine Robots.txt ist folgendermaßen aufgebaut:
Code: Alles auswählen
User-agent: *
Disallow: /comments/feed/
Disallow: /feed/atom/
Disallow: /2007/
Am Anfang hatte ich die robots.txt leider vergessen, weshalb Google EINE Seite des Archives indexiert hat. Jetzt, wo ich das Archiv aber eigentlich ausgesperrt habe indexiert Google trotzdem weiter die einzelnen Monate und Tage! Ist an meiner robots.txt irgendwas falsch, oder wieso indexiert Google obwohl ich dies eigentlich ausgeschlossen habe?
Gruß
zxx
Verfasst: 10.04.2007, 16:27
von unilounge
vielleicht hat er die bereits indiziert und sie waren nur noch nicht im index.
warte ein paar wochen, danach sollten sie eigentlich draussen sein.
Verfasst: 10.04.2007, 16:29
von Kralle
Eine Only-URL-Indizierung kann auch bei einem Disallow in der robots.txt passieren. Deshalb sollte man grundsätzlich ein Meta-noindex verwenden.
Verfasst: 10.04.2007, 16:53
von zxx
Kralle hat geschrieben:Eine Only-URL-Indizierung kann auch bei einem Disallow in der robots.txt passieren. Deshalb sollte man grundsätzlich ein Meta-noindex verwenden.
Hm, ich weiß leider nicht wie ich das bei Wordpress einstellen kann...
Kann man das auch irgendwie über die robots.txt regeln?
Verfasst: 10.04.2007, 22:06
von Jeuners
So nebenbei... schreib die robots.txt Datei am besten mit Notepad und nicht mit einem HTML Editor und schau mal bei den Webmastertools was die zu deiner Robo Datei sagen.
>
https://www.abakus-internet-marketing.d ... 39356.html
Verfasst: 10.04.2007, 22:08
von zxx
Jeuners hat geschrieben:So nebenbei... schreib die robots.txt Datei am besten mit Notepad und nicht mit einem HTML Editor und schau mal bei den Webmastertools was die zu deiner Robo Datei sagen.
Habe ich!
Was für Webmastertools? Ist an meiner robots.txt denn was falsch?
Verfasst: 10.04.2007, 22:11
von Jeuners
Webmastertools:
https://www.google.com/webmasters/tools ... about.html
...und schau mal ich habe im letzten Post noch eine URL angeklebt die dir evtl. weiterhilft
Verfasst: 10.04.2007, 22:38
von Kralle
zxx hat geschrieben:Kralle hat geschrieben:Eine Only-URL-Indizierung kann auch bei einem Disallow in der robots.txt passieren. Deshalb sollte man grundsätzlich ein Meta-noindex verwenden.
Hm, ich weiß leider nicht wie ich das bei Wordpress einstellen kann...
Kann man das auch irgendwie über die robots.txt regeln?
Hmm, schätze mal es gibt sicher ein Plugin dafür. Die robots.txt verhindert bei Google lediglich die Aufnahme der Seite selbst in den Index, nicht aber die Aufnahme der URL. Klingt komisch, ist aber so
