Wer kennt den Spider stat statcrawler@gmail.com?
Verfasst: 01.10.2004, 15:34
Der hat eines unserer Projekte gerade besucht.
Gruss
Johannes
Gruss
Johannes
ABAKUS
Ihr Partner in Sachen SEO und Online Marketing
https://archiv.abakus-internet-marketing.de/foren/
Wer kennt den Spider stat statcrawler@gmail.com?
https://archiv.abakus-internet-marketing.de/foren/viewtopic.php?f=52&t=8023
Seite 1 von 1
Verfasst:
Verfasst: 01.10.2004, 17:07
IP? robots.txt?
Verfasst: 02.10.2004, 08:12
Die IP lautete 66.92.186.101.
Johannes
Johannes
Verfasst: 02.10.2004, 08:25
SFO BRIDGED CIRCUITS SPEK-SFO-BR-44 (NET-66-92-186-1-1)
66.92.186.1 - 66.92.186.255
Das ist jedenfalls kein Google-IP-Bereich (was es ja auch nicht sein muß). Er war gerade hier, hat robots.txt geholt und ist gleich geblockt worden, als er in derselben Sekunde tiefer wollte. Das Blocken von User-agents, welche mit Kleinbuchstaben beginnen (bis auf Ausnahmen) bewährte sich mal wieder.
66.92.186.1 - 66.92.186.255
Das ist jedenfalls kein Google-IP-Bereich (was es ja auch nicht sein muß). Er war gerade hier, hat robots.txt geholt und ist gleich geblockt worden, als er in derselben Sekunde tiefer wollte. Das Blocken von User-agents, welche mit Kleinbuchstaben beginnen (bis auf Ausnahmen) bewährte sich mal wieder.