ABAKUS

Ist kein böser Bot - habe auch vor ein paar Tagen einen Tread eröffnet.
Der Bot speidert nur Deine Bilder, stimmts

nein, nur seiten aber reffer von telekom über ip von online dienst niederbayern ??

Das Ding gehört zu t-info.de, ist vielleicht nicht gefährlich, aber super lästig.....
Deshalb hier die Antwort des Crawleradmin:

Sehr geehrter Herr xxx,

um Zugriffe durch den Crawler auf Ihrer kompletten Site auszuschließen verwenden Sie bitte folgende Einträge:

User-agent: gonzo1
User-agent: gonzo2
User-agent: gonzo1P
User-agent: gonzo2P
Disallow: /


Mit freundlichen Grüßen,

Matthias Waltenberger

t-info GmbH
Dingolfinger Straße 1-15
81673 München

Tel. +49-89-59946-520
Fax +49-941-599299-123
Mail matthias.waltenberger@telekom.de


-----Ursprüngliche Nachricht-----
Von:
Gesendet: Donnerstag, 20. Oktober 2005 11:28
An: crawleradmin t-info
Betreff: Useragent?


Sehr geehrte Damen und Herren,

welchen Useragent muss ich in die robot.txt für Ihren Crawler eintragen, um Zugriffe auf unsere Site auszuschliessen?

super, danke für die info !!!

Der Betreiber ist nach eigenem Bekunden dabei,

eine neue Spezialsuchmaschine zu erproben, die in einigen Monaten live gehen wird - dann können wir Ihnen auch gerne nähere Informationen dazu geben.

Das ist aber nicht nett, ich würde gerne jetzt wissen wozu der Bot hier die ganze Zeit auf meinen Domains rumrödelt.

Also ich bin nach wie vor der Meinung, daß die versuchen eine Bilderdatenbank aufzubauen. Hatte in einem anderen Tread auch die Prob., daß Gonzo sehr stark auf meine Bilder aus war.....die haben Ihm so gefallen, daß er ganz und gar nicht mehr nach Hause wollte

Hallo Leute,
seit heute nervt mich dieser Gonzo ziemlich heftig.

Eure Vermutung mit der Bilddatenbank könnte richtig sein, wir betreiben eine ziemlich grosse Fotohomepage - da gibt es einiges zu spidern

Leider stört er sich nicht an der robots.txt, also habe ich ihn in die .htaccess aufgenommen. Das stört ihn auch nicht

Also ist wahrscheinlich irgendetwas an meiner Syntax falsch. Könntet Ihr mal einen Blick darauf werfen und mir einen Tip geben?

Momentan sperre ich ihn über seine IP aus, ist zum Glück (bisher!) immer dieselbe.

Hier der Auszug aus dem Logfile: In der .htaccess habe ich dann folgendes eingefügt: Probiert - ohne Erfolg - habe ich auch folgendes: Das hier funktioniert über Wannabrowser, aber lt. Logfile kommt er immer noch wieder durch:
Vielen Dank vorab für Eure Hilfe!
LG
Sandra

Das ist aber nicht nett, ich würde gerne jetzt wissen wozu der Bot hier die ganze Zeit auf meinen Domains rumrödelt.

In einem anderen Forum hatte ich im letzten Jahr mal gelesen das der Bot ein Index aufbauen soll, ähnlich google, bzw. etwas spezialisiert.

Probiere mal
sollte helfen...

Gruss
Chris

Vielen Dank!

Die letzte Variante, die per Wannabrowser bereits funktioniert hat, hat dann nach ca. 45 Minuten auch bei Gonzo01 funktioniert.

Ist so eine Zeitverzögerung normal?

Wenn ich z.b. einen Typo in der .htaccess habe, bekomme ich sofort nach Hochladen einen Internal Server Error - da gibt es offensichtlich keine Zeitverzögerung.

Mannomann, als ich die Homepage vor einem Jahr auf die Beine gestellt habe, hätte ich nie gedacht, dass die Administration so in die Zeit geht!

LG
Sandra