Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

80legs ignoriert die robots.txt?

Hier können Sie Ihre Fragen zum Thema Suchmaschinenoptimierung (SEO) / Positionierung stellen
Neues Thema Antworten
CyberNibbler
PostRank 5
PostRank 5
Beiträge: 283
Registriert: 19.08.2008, 16:57
Wohnort: Berlin

Beitrag von CyberNibbler » 06.01.2012, 14:01

Ich habe per robots.txt das Impressum ausgeschlossen.
Laut meinen Accesslogs hat der Google-Bot auch nie darauf zugegriffen.

Jedoch greift der 80legs Crawler auf das Impressum zu. ( https://www.80legs.com/webcrawler.html )
Laut deren Webseite sollte der sich allerdings an die robots.txt halten. Die robots.txt hat er auf jeden Fall auch abgefragt.

Sollte ich mir jetzt sorgen machen das dass Impressum bald irgendwo auftaucht? :-?