Wieso indexiert Google meine Seite trotz robots.txt?

Beitrag von **zxx** » 10.04.2007, 16:25

Hallo,

meine Robots.txt ist folgendermaßen aufgebaut:

User-agent&#58; * 
Disallow&#58; /comments/feed/
Disallow&#58; /feed/atom/
Disallow&#58; /2007/

Am Anfang hatte ich die robots.txt leider vergessen, weshalb Google EINE Seite des Archives indexiert hat. Jetzt, wo ich das Archiv aber eigentlich ausgesperrt habe indexiert Google trotzdem weiter die einzelnen Monate und Tage! Ist an meiner robots.txt irgendwas falsch, oder wieso indexiert Google obwohl ich dies eigentlich ausgeschlossen habe?

Gruß
zxx

von **Anzeige von ABAKUS** »

Beitrag von **unilounge** » 10.04.2007, 16:27

vielleicht hat er die bereits indiziert und sie waren nur noch nicht im index.

warte ein paar wochen, danach sollten sie eigentlich draussen sein.

Beitrag von **Kralle** » 10.04.2007, 16:29

Eine Only-URL-Indizierung kann auch bei einem Disallow in der robots.txt passieren. Deshalb sollte man grundsätzlich ein Meta-noindex verwenden.

Beitrag von **zxx** » 10.04.2007, 16:53

Kralle hat geschrieben:Eine Only-URL-Indizierung kann auch bei einem Disallow in der robots.txt passieren. Deshalb sollte man grundsätzlich ein Meta-noindex verwenden.

Hm, ich weiß leider nicht wie ich das bei Wordpress einstellen kann...

Kann man das auch irgendwie über die robots.txt regeln?

Beitrag von **Jeuners** » 10.04.2007, 22:06

So nebenbei... schreib die robots.txt Datei am besten mit Notepad und nicht mit einem HTML Editor und schau mal bei den Webmastertools was die zu deiner Robo Datei sagen.

> https://www.abakus-internet-marketing.d ... 39356.html

Beitrag von **zxx** » 10.04.2007, 22:08

Jeuners hat geschrieben:So nebenbei... schreib die robots.txt Datei am besten mit Notepad und nicht mit einem HTML Editor und schau mal bei den Webmastertools was die zu deiner Robo Datei sagen.

Habe ich!

Was für Webmastertools? Ist an meiner robots.txt denn was falsch?

Beitrag von **Jeuners** » 10.04.2007, 22:11

Webmastertools: https://www.google.com/webmasters/tools ... about.html
...und schau mal ich habe im letzten Post noch eine URL angeklebt die dir evtl. weiterhilft

Beitrag von **Kralle** » 10.04.2007, 22:38

zxx hat geschrieben:
Kralle hat geschrieben:Eine Only-URL-Indizierung kann auch bei einem Disallow in der robots.txt passieren. Deshalb sollte man grundsätzlich ein Meta-noindex verwenden.
Hm, ich weiß leider nicht wie ich das bei Wordpress einstellen kann...

Kann man das auch irgendwie über die robots.txt regeln?

Hmm, schätze mal es gibt sicher ein Plugin dafür. Die robots.txt verhindert bei Google lediglich die Aufnahme der Seite selbst in den Index, nicht aber die Aufnahme der URL. Klingt komisch, ist aber so