Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

gonzo und robots.txt

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
robo
PostRank 8
PostRank 8
Beiträge: 837
Registriert: 23.12.2003, 19:41
Wohnort: Schwangau

Beitrag von robo » 11.04.2006, 13:53

Hi Leute,

ich habe in einem Unterverzeichnis /JS/ ein paar JavaScripts für Tooltips u. ä. drinliegen. Dieses Verzeichnis is per robots.txt gesperrt. Trotzdem schert gonzo sich nicht darum und holt sich immer frech die JavaScripts aus diesem Verzeichnis. Allerdings habe ich auch eine Bottrap, ebenfalls per robots.txt gesperrt. Da ist er noch nicht reingetappt.

Meine Vermutung ist nun, dass sich gonzo zwar im Prinzip an die robots.txt hält, aber sich bei bestimmten Dateien einfach drüber hinwegsetzt. Oder hat das Vieh Probleme bei Nicht-Kleinschreibung?

Habt ihr ähnliche Beobachtungen gemacht? Was würdet ihr machen? Grundsätzlich .htaccessen möchte ich gonzo nicht. Sollte eine Beschwerde an die Kontakt-E-Mail aus dem UA in Erwägung ziehen?

cu, Robo :)

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


thetrasher
PostRank 5
PostRank 5
Beiträge: 238
Registriert: 31.12.2005, 10:50
Wohnort: Bad Tölz

Beitrag von thetrasher » 11.04.2006, 15:07

Die Gonzos spidern für suchen.de (siehe https://www.abakus-internet-marketing.d ... 25097.html). Wende Dich an suchen.de oder via PN an Gilliber.

Ob eine Beschwerde hilft? Schliesslich benutzt t-info nur einen umgelabelten FAST-Crawler (anfangs hat es noch "FAST Enterprise Crawler 6 used by Crawler GonzoP1 DE (crawleradmin.t-info@telekom.de)" geheissen). Außer an der UA-Kennung wird t-info nirgendwo drehen und programmieren.

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag