Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

gonzo und robots.txt

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
robo
PostRank 8
PostRank 8
Beiträge: 837
Registriert: 23.12.2003, 19:41
Wohnort: Schwangau

Beitrag von robo » 11.04.2006, 13:53

Hi Leute,

ich habe in einem Unterverzeichnis /JS/ ein paar JavaScripts für Tooltips u. ä. drinliegen. Dieses Verzeichnis is per robots.txt gesperrt. Trotzdem schert gonzo sich nicht darum und holt sich immer frech die JavaScripts aus diesem Verzeichnis. Allerdings habe ich auch eine Bottrap, ebenfalls per robots.txt gesperrt. Da ist er noch nicht reingetappt.

Meine Vermutung ist nun, dass sich gonzo zwar im Prinzip an die robots.txt hält, aber sich bei bestimmten Dateien einfach drüber hinwegsetzt. Oder hat das Vieh Probleme bei Nicht-Kleinschreibung?

Habt ihr ähnliche Beobachtungen gemacht? Was würdet ihr machen? Grundsätzlich .htaccessen möchte ich gonzo nicht. Sollte eine Beschwerde an die Kontakt-E-Mail aus dem UA in Erwägung ziehen?

cu, Robo :)