Wer kennt den Spider stat statcrawler@gmail.com?

Beitrag von **Brahms** » 01.10.2004, 15:34

Der hat eines unserer Projekte gerade besucht.

Gruss
Johannes

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **bull** » 01.10.2004, 17:07

IP? robots.txt?

Beitrag von **Brahms** » 02.10.2004, 08:12

Die IP lautete 66.92.186.101.

Johannes

Beitrag von **bull** » 02.10.2004, 08:25

SFO BRIDGED CIRCUITS SPEK-SFO-BR-44 (NET-66-92-186-1-1)
66.92.186.1 - 66.92.186.255

Das ist jedenfalls kein Google-IP-Bereich (was es ja auch nicht sein muß). Er war gerade hier, hat robots.txt geholt und ist gleich geblockt worden, als er in derselben Sekunde tiefer wollte. Das Blocken von User-agents, welche mit Kleinbuchstaben beginnen (bis auf Ausnahmen) bewährte sich mal wieder.