Spider GONZO1 ??

[redcan]

hallo zusammen,

kennt jemand den spider?
angeblich t-info.telekom.de, aber ip ist vom online dienst niederbayern

refferer "gonzo1 mailto:crawleradmin.t-info@telekom.de"

[ckl]

Ist kein böser Bot - habe auch vor ein paar Tagen einen Tread eröffnet.
Der Bot speidert nur Deine Bilder, stimmts

[redcan]

nein, nur seiten aber reffer von telekom über ip von online dienst niederbayern ??

[DirkBl]

Das Ding gehört zu t-info.de, ist vielleicht nicht gefährlich, aber super lästig.....
Deshalb hier die Antwort des Crawleradmin:

Sehr geehrter Herr xxx,

um Zugriffe durch den Crawler auf Ihrer kompletten Site auszuschließen verwenden Sie bitte folgende Einträge:

User-agent: gonzo1
User-agent: gonzo2
User-agent: gonzo1P
User-agent: gonzo2P
Disallow: /


Mit freundlichen Grüßen,

Matthias Waltenberger

t-info GmbH
Dingolfinger Straße 1-15
81673 München

Tel. +49-89-59946-520
Fax +49-941-599299-123
Mail matthias.waltenberger@telekom.de


-----Ursprüngliche Nachricht-----
Von:
Gesendet: Donnerstag, 20. Oktober 2005 11:28
An: crawleradmin t-info
Betreff: Useragent?


Sehr geehrte Damen und Herren,

welchen Useragent muss ich in die robot.txt für Ihren Crawler eintragen, um Zugriffe auf unsere Site auszuschliessen?

[redcan]

super, danke für die info !!!

[bull]

Der Betreiber ist nach eigenem Bekunden dabei,

eine neue Spezialsuchmaschine zu erproben, die in einigen Monaten live gehen wird - dann können wir Ihnen auch gerne nähere Informationen dazu geben.

[Southmedia]

Das ist aber nicht nett, ich würde gerne jetzt wissen wozu der Bot hier die ganze Zeit auf meinen Domains rumrödelt.

[ckl]

Also ich bin nach wie vor der Meinung, daß die versuchen eine Bilderdatenbank aufzubauen. Hatte in einem anderen Tread auch die Prob., daß Gonzo sehr stark auf meine Bilder aus war.....die haben Ihm so gefallen, daß er ganz und gar nicht mehr nach Hause wollte

[Bubo]

Hallo Leute,
seit heute nervt mich dieser Gonzo ziemlich heftig.

Eure Vermutung mit der Bilddatenbank könnte richtig sein, wir betreiben eine ziemlich grosse Fotohomepage - da gibt es einiges zu spidern

Leider stört er sich nicht an der robots.txt, also habe ich ihn in die .htaccess aufgenommen. Das stört ihn auch nicht

Also ist wahrscheinlich irgendetwas an meiner Syntax falsch. Könntet Ihr mal einen Blick darauf werfen und mir einen Tip geben?

Momentan sperre ich ihn über seine IP aus, ist zum Glück (bisher!) immer dieselbe.

Hier der Auszug aus dem Logfile:

Code: Alles auswählen

212.34.175.72 - - [21/Feb/2006:09:22:00 +0100] "GET /xxxx.php HTTP/1.1" 200 5172 "http://www.url.de" "gonzo1[P] mailto:crawleradmin.t-info@telekom.de"

In der .htaccess habe ich dann folgendes eingefügt:

Code: Alles auswählen

.......
RewriteCond %{HTTP_USER_AGENT} ^gonzo1[P]\ mailto:crawleradmin.t-info@telekom.de [OR]
.......

Probiert - ohne Erfolg - habe ich auch folgendes:

Code: Alles auswählen

.......
RewriteCond %{HTTP_USER_AGENT} ^gonzo1[P]\ (mailto:crawleradmin.t-info@telekom.de) [OR]
...........

Das hier funktioniert über Wannabrowser, aber lt. Logfile kommt er immer noch wieder durch:

Code: Alles auswählen

.......
RewriteCond %{HTTP_USER_AGENT} ^gonzo1 [OR]
...........

Vielen Dank vorab für Eure Hilfe!
LG
Sandra

[marc75]

Das ist aber nicht nett, ich würde gerne jetzt wissen wozu der Bot hier die ganze Zeit auf meinen Domains rumrödelt.

In einem anderen Forum hatte ich im letzten Jahr mal gelesen das der Bot ein Index aufbauen soll, ähnlich google, bzw. etwas spezialisiert.

[Chris2005]

Probiere mal

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} gonzo [OR,NC] 

sollte helfen...

Gruss
Chris

[Bubo]

Vielen Dank!

Die letzte Variante, die per Wannabrowser bereits funktioniert hat, hat dann nach ca. 45 Minuten auch bei Gonzo01 funktioniert.

Ist so eine Zeitverzögerung normal?

Wenn ich z.b. einen Typo in der .htaccess habe, bekomme ich sofort nach Hochladen einen Internal Server Error - da gibt es offensichtlich keine Zeitverzögerung.

Mannomann, als ich die Homepage vor einem Jahr auf die Beine gestellt habe, hätte ich nie gedacht, dass die Administration so in die Zeit geht!

LG
Sandra