Seite 1 von 1

Google & robots.txt

Verfasst: 26.09.2004, 20:13
von Mario670
Hier mal wieder ein tolles Beispiel wie Google isch an die robots.txt hält, hab die posting gesperrt, das juckt Google scheinbar überhaupt nicht :bad-words:
Gast 26.09.04, 20:08 26.09.04, 20:08 Karte aller Mitglieder 216.121.224.157
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Einloggen 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Einloggen 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176

Verfasst:
von
SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Verfasst: 26.09.2004, 20:24
von Lutz-Development
Wann hast du die robots.txt angelegt / verändert?

Gruß,
Thomas

Verfasst: 26.09.2004, 21:20
von Mario670
Vor ca. 2 jahren :roll:

Verfasst: 27.09.2004, 05:52
von -robert-
Hallo,

ich kann dies bestätigen. Auf mehrenen Domains habe ich geradezu eine Ignoranz der robots.txt durch google feststellen müssen.

Gruß
Robert

Verfasst: 27.09.2004, 05:55
von Opel_Voting
Hallo,

das kann ich nicht bestätigen, habt Ihr auch User-agent: Googlebot geschrieben, oder nur User-agent: * ?

Gruß Jan

Verfasst: 27.09.2004, 07:14
von Mario670
User-agent: * , das hat ja bis vor zwei Monaten immer geklappt

Verfasst: 27.09.2004, 07:23
von Opel_Voting
Hallo,

er, sie, es (Googlebot) möchte aber persönlich angesprochen werden.

Gruß Jan

Verfasst: 27.09.2004, 07:37
von Wuppi
Hi

hab auch massig prvmsg.php, posting.php im Index :( In der Robots.txt sind die natürlich verboten ...

Hab festgestellt das sich google nur an Verzeichnisse hälft, aber Dateien voll ignoriert!!

@Opel: mit persönlich ansprechen käme auf ein Versuch an ;) (wer will noch persönlich angesprochen werden?)

Gruß
Wuppi

Verfasst: 27.09.2004, 07:41
von Opel_Voting
Hallo,

ich weiss, es nur vom Googlebot.

dauert, allerdings ein bißchen, bis der Crawler sich daran hält. (dauert etwa 90 Tage bis die entsprechende Seite, aus dem Index verschwunden ist).

Gruß Jan