Seite 1 von 1
Google ignoriert mein robots.txt
Verfasst: 10.12.2008, 02:25
von kam1
Hallo,
habe gerade ein Problem festgestellt. Ich habe in root Verzeichnis brav eine robots.txt hochgeladen, wo ich alle Ordner zu verschiedenen Sprachen sperre, die noch nicht uebersetzt wurden (bzw. noch in Arbeit sind), weil wenn die Bereiche nicht uebersetzt sind, einfach das englische Content mit Warnhinweis oben drueber angezeigt wird und das ist Doppelcontent.
Code: Alles auswählen
User-agent: *
Disallow: /cn/
Disallow: /es/
Disallow: /hu/
Disallow: /cn
Disallow: /es
Disallow: /hu
So aehnlich sieht meine robots.txt aus
Was macht Google, ignoriert es geschickt. Ich kann jegliche gesperrte Seiten schon im Google Index sehen.
Wieso ignoriert er meine robots.txt??
Im Index werden die gesperrten Seiten uebrigens nur mit URL angezeigt.
Verfasst:
von
Content Erstellung von
ABAKUS Internet Marketing
Ihre Vorteile:
- einzigartige Texte
- suchmaschinenoptimierte Inhalte
- eine sinnvolle Content-Strategie
- Beratung und Umsetzung
Jetzt anfragen:
0511 / 300325-0
Verfasst: 10.12.2008, 08:03
von wehwehweh
Im Index werden die gesperrten Seiten uebrigens nur mit URL angezeigt.
das ist normalerweise der fall wenn du die irgendwo verlinkt hast.
Verfasst: 10.12.2008, 10:14
von no.f8
Werden die Seiten bei regulären Searches oder Site-Abfragen angezeigt? Bei Site-Abfragen ist es idR normal, dass die gesperrten Seiten mit auftauchen, wenn sie kein dezidiertes noindex haben.
Ansonsten den Google-Bot mal separat als Agent angeben.
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Verfasst: 11.12.2008, 04:53
von kam1
Vielen Dank fuer eure Antworten
Die Seiten scheinen wieder weg zu sein, ich habe heute nachgeschaut. Ich find das sehr komisch.
Zitat:
Im Index werden die gesperrten Seiten uebrigens nur mit URL angezeigt.
das ist normalerweise der fall wenn du die irgendwo verlinkt hast.
Damit habe ich gemeint, dass nur die URL angezeigt wird, keine Beschreibung oder Titel.
no.f8 hat geschrieben:Werden die Seiten bei regulären Searches oder Site-Abfragen angezeigt? Bei Site-Abfragen ist es idR normal, dass die gesperrten Seiten mit auftauchen, wenn sie kein dezidiertes noindex haben.
Ansonsten den Google-Bot mal separat als Agent angeben.
Bei Site Abfragen, bei regulaeren habe ich leider nicht getestet.
Verfasst: 11.12.2008, 15:54
von qualityranks
Jemand hat auf deine Seiten verlinkt. Dann indexiert Google die Seite trotzdem, da sie sie als wichtig erachtet.
Verfasst: 12.12.2008, 04:35
von Netzfehler
Gerade gestern Abend hatte ich das gleiche Problem. Bei mir ist es eine
komplett neue Seite (verlinkung auf die jeweiligen Seiten ausgeschlossen).
Erst dachte ich, ich habe vergessen die robots.txt hochzuladen, aber die wahr
absolut korrekt. Auch habe ich wie no.f8 bereits erwähnt hat den Google-Bot
noch seperat angegeben. Vielleicht sind sie ja in paar Tagen wieder draußen
