Google & robots.txt

Beitrag von **Mario670** » 26.09.2004, 20:13

Hier mal wieder ein tolles Beispiel wie Google isch an die robots.txt hält, hab die posting gesperrt, das juckt Google scheinbar überhaupt nicht

Gast 26.09.04, 20:08 26.09.04, 20:08 Karte aller Mitglieder 216.121.224.157
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:08 26.09.04, 20:08 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Einloggen 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Einloggen 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176
Gast 26.09.04, 20:07 26.09.04, 20:07 Nachricht schreiben 66.249.66.176

von **Anzeige von ABAKUS** »

Beitrag von **Lutz-Development** » 26.09.2004, 20:24

Wann hast du die robots.txt angelegt / verändert?

Gruß,
Thomas

Beitrag von **Mario670** » 26.09.2004, 21:20

Vor ca. 2 jahren

Beitrag von **-robert-** » 27.09.2004, 05:52

Hallo,

ich kann dies bestätigen. Auf mehrenen Domains habe ich geradezu eine Ignoranz der robots.txt durch google feststellen müssen.

Gruß
Robert

Beitrag von **Opel_Voting** » 27.09.2004, 05:55

Hallo,

das kann ich nicht bestätigen, habt Ihr auch User-agent: Googlebot geschrieben, oder nur User-agent: * ?

Gruß Jan

Beitrag von **Mario670** » 27.09.2004, 07:14

User-agent: * , das hat ja bis vor zwei Monaten immer geklappt

Beitrag von **Opel_Voting** » 27.09.2004, 07:23

Hallo,

er, sie, es (Googlebot) möchte aber persönlich angesprochen werden.

Gruß Jan

Beitrag von **Wuppi** » 27.09.2004, 07:37

Hi

hab auch massig prvmsg.php, posting.php im Index

In der Robots.txt sind die natürlich verboten ...

Hab festgestellt das sich google nur an Verzeichnisse hälft, aber Dateien voll ignoriert!!

@Opel: mit persönlich ansprechen käme auf ein Versuch an

(wer will noch persönlich angesprochen werden?)

Gruß
Wuppi

Beitrag von **Opel_Voting** » 27.09.2004, 07:41

Hallo,

ich weiss, es nur vom Googlebot.

dauert, allerdings ein bißchen, bis der Crawler sich daran hält. (dauert etwa 90 Tage bis die entsprechende Seite, aus dem Index verschwunden ist).

Gruß Jan