Der Googlebot und freenet

Beitrag von **Ste** » 21.03.2005, 18:35

Google geht es wohl nicht so gut, jetzt muss der Googlebot schon über freenet ins Internet.

Gast[8] 213.7.13.118 googlebot/2.1 17:30 Hauptseite

Harte Zeiten...

von **Anzeige von ABAKUS** »

Beitrag von **Halli** » 22.03.2005, 21:17

Ste hat geschrieben:Google geht es wohl nicht so gut, jetzt muss der Googlebot schon über freenet ins Internet.

Gast[8] 213.7.13.118 googlebot/2.1 17:30 Hauptseite

Harte Zeiten...

Ste, ich glaube nicht, dass es der Googlebot war, der da Deine Seite besucht hat.

Ich tippe vielmehr auf einen der fleißigen 'Katalog-' und 'Suchmachinen-' Bauer, der sich mit einem Offline-Reader Deine Site auf die heimische Platte gezogen hat. Bei einigen dieser Tools kann man den User-Agent frei einstellen.

Frei nach dem Motto: grabsch, duck und weg .....

Beitrag von **Ste** » 22.03.2005, 21:39

ein grabber? mh daran habe ich nicht gedacht, dachte eher an einen Spassvogel, der mit dem Firefox oder Mozilla Addon seine Kennung verändert hat. Muss mal die logs durchgucken was der so getrieben hat, danke Halli

Beitrag von **Halli** » 22.03.2005, 22:09

Ich habe auf einigen meiner Seiten ein transparantes 1*1 Pixel eingebaut. Dieser Link führt zu einer Spiderfalle, die alles an Daten mitloggt, was sie kriegen kann. Denn ein User 'sieht' diesen Link ja nie

In den entsprechenden Logs sehe ich mit schöner Regelmäßigkleit den Googlebot. Der kommt (bei mir) immer mit folgenden IPs:
66.249.64.xxx
66.249.71.xxx

Dann habe ich noch den Google WAP Proxy mit dem beiden IPs
64.233.167.4
64.233.179.4

Beitrag von **Ste** » 23.03.2005, 08:37

Ich hatte den Robotstats drin, nur musste ich den rausnehmen da meine Datenbank zu sehr anschwoll

Im forum gibt es ja das wiw da sehe ich auch immer den googlebot, und wie du gesagt hast genau mit den 2 ips ist er gerade unterwegs, eigentlich ist er immer da, darum ist mir ja auch die ip von freenet aufgefallen, den die passt gar nicht