Google ignoriert mein robots.txt

Beitrag von **kam1** » 10.12.2008, 02:25

Hallo,

habe gerade ein Problem festgestellt. Ich habe in root Verzeichnis brav eine robots.txt hochgeladen, wo ich alle Ordner zu verschiedenen Sprachen sperre, die noch nicht uebersetzt wurden (bzw. noch in Arbeit sind), weil wenn die Bereiche nicht uebersetzt sind, einfach das englische Content mit Warnhinweis oben drueber angezeigt wird und das ist Doppelcontent.

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /cn/
Disallow&#58; /es/
Disallow&#58; /hu/
Disallow&#58; /cn
Disallow&#58; /es
Disallow&#58; /hu

So aehnlich sieht meine robots.txt aus

Was macht Google, ignoriert es geschickt. Ich kann jegliche gesperrte Seiten schon im Google Index sehen.

Wieso ignoriert er meine robots.txt??

Im Index werden die gesperrten Seiten uebrigens nur mit URL angezeigt.

von **Anzeige von ABAKUS** »

Beitrag von **wehwehweh** » 10.12.2008, 08:03

Im Index werden die gesperrten Seiten uebrigens nur mit URL angezeigt.

das ist normalerweise der fall wenn du die irgendwo verlinkt hast.

Beitrag von **no.f8** » 10.12.2008, 10:14

Werden die Seiten bei regulären Searches oder Site-Abfragen angezeigt? Bei Site-Abfragen ist es idR normal, dass die gesperrten Seiten mit auftauchen, wenn sie kein dezidiertes noindex haben.

Ansonsten den Google-Bot mal separat als Agent angeben.

von **Anzeige von ABAKUS** »

Beitrag von **kam1** » 11.12.2008, 04:53

Vielen Dank fuer eure Antworten

Die Seiten scheinen wieder weg zu sein, ich habe heute nachgeschaut. Ich find das sehr komisch.

Zitat:
Im Index werden die gesperrten Seiten uebrigens nur mit URL angezeigt.

das ist normalerweise der fall wenn du die irgendwo verlinkt hast.

Damit habe ich gemeint, dass nur die URL angezeigt wird, keine Beschreibung oder Titel.

no.f8 hat geschrieben:Werden die Seiten bei regulären Searches oder Site-Abfragen angezeigt? Bei Site-Abfragen ist es idR normal, dass die gesperrten Seiten mit auftauchen, wenn sie kein dezidiertes noindex haben.

Ansonsten den Google-Bot mal separat als Agent angeben.

Bei Site Abfragen, bei regulaeren habe ich leider nicht getestet.

Beitrag von **qualityranks** » 11.12.2008, 15:54

Jemand hat auf deine Seiten verlinkt. Dann indexiert Google die Seite trotzdem, da sie sie als wichtig erachtet.

Beitrag von **Netzfehler** » 12.12.2008, 04:35

Gerade gestern Abend hatte ich das gleiche Problem. Bei mir ist es eine
komplett neue Seite (verlinkung auf die jeweiligen Seiten ausgeschlossen).
Erst dachte ich, ich habe vergessen die robots.txt hochzuladen, aber die wahr
absolut korrekt. Auch habe ich wie no.f8 bereits erwähnt hat den Google-Bot
noch seperat angegeben. Vielleicht sind sie ja in paar Tagen wieder draußen