ABAKUS

Hi Leute,

ich habe in einem Unterverzeichnis /JS/ ein paar JavaScripts für Tooltips u. ä. drinliegen. Dieses Verzeichnis is per robots.txt gesperrt. Trotzdem schert gonzo sich nicht darum und holt sich immer frech die JavaScripts aus diesem Verzeichnis. Allerdings habe ich auch eine Bottrap, ebenfalls per robots.txt gesperrt. Da ist er noch nicht reingetappt.

Meine Vermutung ist nun, dass sich gonzo zwar im Prinzip an die robots.txt hält, aber sich bei bestimmten Dateien einfach drüber hinwegsetzt. Oder hat das Vieh Probleme bei Nicht-Kleinschreibung?

Habt ihr ähnliche Beobachtungen gemacht? Was würdet ihr machen? Grundsätzlich .htaccessen möchte ich gonzo nicht. Sollte eine Beschwerde an die Kontakt-E-Mail aus dem UA in Erwägung ziehen?

cu, Robo

Die Gonzos spidern für suchen.de (siehe https://www.abakus-internet-marketing.d ... 25097.html). Wende Dich an suchen.de oder via PN an Gilliber.

Ob eine Beschwerde hilft? Schliesslich benutzt t-info nur einen umgelabelten FAST-Crawler (anfangs hat es noch "FAST Enterprise Crawler 6 used by Crawler GonzoP1 DE (crawleradmin.t-info@telekom.de)" geheissen). Außer an der UA-Kennung wird t-info nirgendwo drehen und programmieren.