nochwas zur robot.txt was haltet ihr davon?

[Taschenmann.de]

Kann ich diese robot.txt auf meinen serer schmeißsen?




User-agent: *
Disallow: /assets/
Disallow: /docs/

# Mehr Info: https://www.google.de/intl/de/webmasters/
User-agent: Googlebot*
Disallow: /*.js$
#Disallow: /*.gif$
#Disallow: /*.jpg$

# Bilder bleiben hier!
User-Agent: Googlebot-Image
Disallow: /

# AltaVista's Photo Finder
User-Agent: vscooter
Disallow: /

# Fiese Sauger
User-Agent: ia_archiver
Disallow: /
User-agent: Teleport*
Disallow: /
User-agent: Webwhacker*
Disallow: /
User-agent: Webzip*
Disallow: /
User-agent: Net Attache*
Disallow: /
User-agent: SiteSnagger*
Disallow: /
User-agent: HTTrack*
Disallow: /
User-agent: WebCapture*
Disallow: /
User-agent: WebSauger*
Disallow: /
User-agent: WebReaper*
Disallow: /
User-agent: Roverbot*
Disallow: /

[Jörg]

# Fiese Sauger
User-Agent: ia_archiver
Disallow: /

so fies finde ich den gar nicht. ia_archiver versorgt das internet archive mit daten, die dann u.u. auch als beweismittel zählen. falls z.b. texte oder bilder von einer website geklaut werden, kann gegebenenfalls mithilfe von archive.org nachgewiesen werden, wo die texte / bilder als erstes drauf waren

[Taschenmann.de]

# Fiese Sauger
User-Agent: ia_archiver
Disallow: /

so fies finde ich den gar nicht. ia_archiver versorgt das internet archive mit daten, die dann u.u. auch als beweismittel zählen. falls z.b. texte oder bilder von einer website geklaut werden, kann gegebenenfalls mithilfe von archive.org nachgewiesen werden, wo die texte / bilder als erstes drauf waren

DEshalb habe ich den ja auch ausgespeert, weil bei mir nie was zuerst drauf ist "!!!


LOl

[Jörg]

ja dann ist es natürlich was anderes

[SISTRIX]

Wildcards in der robots.txt entsprechen nicht dem Standard.

Gruss Johannes

[Klaus]

Moin.

DEshalb habe ich den ja auch ausgespeert, weil bei mir nie was zuerst drauf ist "!!!

Das ist doch mal ein Klasse-Argument.

Aber was wahr ist, muss auch wahr bleiben.
Hand aus Herz, der rechtsklick ist doch beliebt!

Wusste ich nicht mit dem ia_archiver, auf jeden Fall ist er stets sehr fleißig und scannt ordentlich die Site durch.

Wie kommt er eigentlich auf die Domains?
Der war, glaube ich, schon bei mir, bevor ich Backlinks hatte. Hab leider immer noch nicht viel, so dass die Frage jetzt noch überlegenswert ist.

Gruß
Klaus