80legs ignoriert die robots.txt?

Beitrag von **CyberNibbler** » 06.01.2012, 14:01

Ich habe per robots.txt das Impressum ausgeschlossen.
Laut meinen Accesslogs hat der Google-Bot auch nie darauf zugegriffen.

Jedoch greift der 80legs Crawler auf das Impressum zu. ( https://www.80legs.com/webcrawler.html )
Laut deren Webseite sollte der sich allerdings an die robots.txt halten. Die robots.txt hat er auf jeden Fall auch abgefragt.

Sollte ich mir jetzt sorgen machen das dass Impressum bald irgendwo auftaucht?

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Malte Landwehr** » 06.01.2012, 14:44

CyberNibbler hat geschrieben:Sollte ich mir jetzt sorgen machen das dass Impressum bald irgendwo auftaucht?

Wenn du davor Angst hast, darfst du nichts in Netz stellen. Man könnte ja auch manuell das Impressum speichern und es später irgendwo auftauchen lassen.

Sperr 80legs doch einfach über die .htaccess.

edit:
Sorry bei sowas gehe ich schon davon aus, dass das Impressum in einem Bild versteckt wird^^

Beitrag von **CyberNibbler** » 06.01.2012, 16:34

Malte Landwehr hat geschrieben:Man könnte ja auch manuell das Bild speichern und es später irgendwo auftauchen lassen.

Welches Bild? o.O

Okay, ich werde den Crawler wohl über den User-Agent aussperren. Auch eine Lösung. Danke!

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Hasenhuf** » 10.01.2012, 10:45

CyberNibbler hat geschrieben:Sollte ich mir jetzt sorgen machen das dass Impressum bald irgendwo auftaucht?

Steht dein Impressum auf "noindex"?

Beitrag von **CyberNibbler** » 10.01.2012, 13:58

Ja, mittels folgendem Code in der Seite.

Code: Alles auswählen

<meta name="robots" content="noindex,follow" />

Aber was solls. Ich mag nur diese ganzen Content-Crawler die vielleicht auch noch mit Impressums-Daten Geld machen wohlen nicht. -_-