80legs ignoriert die robots.txt?

[CyberNibbler]

Ich habe per robots.txt das Impressum ausgeschlossen.
Laut meinen Accesslogs hat der Google-Bot auch nie darauf zugegriffen.

Jedoch greift der 80legs Crawler auf das Impressum zu. ( https://www.80legs.com/webcrawler.html )
Laut deren Webseite sollte der sich allerdings an die robots.txt halten. Die robots.txt hat er auf jeden Fall auch abgefragt.

Sollte ich mir jetzt sorgen machen das dass Impressum bald irgendwo auftaucht?

[Malte Landwehr]

Sollte ich mir jetzt sorgen machen das dass Impressum bald irgendwo auftaucht?

Wenn du davor Angst hast, darfst du nichts in Netz stellen. Man könnte ja auch manuell das Impressum speichern und es später irgendwo auftauchen lassen.

Sperr 80legs doch einfach über die .htaccess.


edit:
Sorry bei sowas gehe ich schon davon aus, dass das Impressum in einem Bild versteckt wird^^

[CyberNibbler]

Man könnte ja auch manuell das Bild speichern und es später irgendwo auftauchen lassen.

Welches Bild? o.O

Okay, ich werde den Crawler wohl über den User-Agent aussperren. Auch eine Lösung. Danke!

[Hasenhuf]

Sollte ich mir jetzt sorgen machen das dass Impressum bald irgendwo auftaucht?

Steht dein Impressum auf "noindex"?

[CyberNibbler]

Ja, mittels folgendem Code in der Seite.

Code: Alles auswählen

<meta name="robots" content="noindex,follow" />

Aber was solls. Ich mag nur diese ganzen Content-Crawler die vielleicht auch noch mit Impressums-Daten Geld machen wohlen nicht. -_-