Seite 1 von 1
Der Googlebot und freenet
Verfasst: 21.03.2005, 18:35
von Ste
Google geht es wohl nicht so gut, jetzt muss der Googlebot schon über freenet ins Internet.
Gast[8] 213.7.13.118 googlebot/2.1 17:30 Hauptseite
Harte Zeiten...
Re: Der Googlebot und freenet
Verfasst: 22.03.2005, 21:17
von Halli
Ste hat geschrieben:Google geht es wohl nicht so gut, jetzt muss der Googlebot schon über freenet ins Internet.
Gast[8] 213.7.13.118 googlebot/2.1 17:30 Hauptseite
Harte Zeiten...
Ste, ich glaube nicht, dass es der Googlebot war, der da Deine Seite besucht hat.
Ich tippe vielmehr auf einen der fleißigen 'Katalog-' und 'Suchmachinen-' Bauer, der sich mit einem Offline-Reader Deine Site auf die heimische Platte gezogen hat. Bei einigen dieser Tools kann man den User-Agent frei einstellen.
Frei nach dem Motto: grabsch, duck und weg .....
Der Googlebot und freenet
Verfasst: 22.03.2005, 21:39
von Ste
ein grabber? mh daran habe ich nicht gedacht, dachte eher an einen Spassvogel, der mit dem Firefox oder Mozilla Addon seine Kennung verändert hat. Muss mal die logs durchgucken was der so getrieben hat, danke Halli
Verfasst: 22.03.2005, 22:09
von Halli
Ich habe auf einigen meiner Seiten ein transparantes 1*1 Pixel eingebaut. Dieser Link führt zu einer Spiderfalle, die alles an Daten mitloggt, was sie kriegen kann. Denn ein User 'sieht' diesen Link ja nie
In den entsprechenden Logs sehe ich mit schöner Regelmäßigkleit den Googlebot. Der kommt (bei mir) immer mit folgenden IPs:
66.249.64.xxx
66.249.71.xxx
Dann habe ich noch den Google WAP Proxy mit dem beiden IPs
64.233.167.4
64.233.179.4
Der Googlebot und freenet
Verfasst: 23.03.2005, 08:37
von Ste
Ich hatte den Robotstats drin, nur musste ich den rausnehmen da meine Datenbank zu sehr anschwoll
Im forum gibt es ja das wiw da sehe ich auch immer den googlebot, und wie du gesagt hast genau mit den 2 ips ist er gerade unterwegs, eigentlich ist er immer da, darum ist mir ja auch die ip von freenet aufgefallen, den die passt gar nicht