Wer kennt den Spider stat statcrawler@gmail.com?

Beitrag von **Brahms** » 01.10.2004, 15:34

Der hat eines unserer Projekte gerade besucht.

Gruss
Johannes

von **Anzeige von ABAKUS** »

Beitrag von **bull** » 01.10.2004, 17:07

IP? robots.txt?

Beitrag von **Brahms** » 02.10.2004, 08:12

Die IP lautete 66.92.186.101.

Johannes

Beitrag von **bull** » 02.10.2004, 08:25

SFO BRIDGED CIRCUITS SPEK-SFO-BR-44 (NET-66-92-186-1-1)
66.92.186.1 - 66.92.186.255

Das ist jedenfalls kein Google-IP-Bereich (was es ja auch nicht sein muß). Er war gerade hier, hat robots.txt geholt und ist gleich geblockt worden, als er in derselben Sekunde tiefer wollte. Das Blocken von User-agents, welche mit Kleinbuchstaben beginnen (bis auf Ausnahmen) bewährte sich mal wieder.