nochwas zur robot.txt was haltet ihr davon?

Kann ich diese robot.txt auf meinen serer schmeißsen?




User-agent: *
Disallow: /assets/
Disallow: /docs/

# Mehr Info: https://www.google.de/intl/de/webmasters/
User-agent: Googlebot*
Disallow: /*.js$
#Disallow: /*.gif$
#Disallow: /*.jpg$

# Bilder bleiben hier!
User-Agent: Googlebot-Image
Disallow: /

# AltaVista's Photo Finder
User-Agent: vscooter
Disallow: /

# Fiese Sauger
User-Agent: ia_archiver
Disallow: /
User-agent: Teleport*
Disallow: /
User-agent: Webwhacker*
Disallow: /
User-agent: Webzip*
Disallow: /
User-agent: Net Attache*
Disallow: /
User-agent: SiteSnagger*
Disallow: /
User-agent: HTTrack*
Disallow: /
User-agent: WebCapture*
Disallow: /
User-agent: WebSauger*
Disallow: /
User-agent: WebReaper*
Disallow: /
User-agent: Roverbot*
Disallow: /

Taschenmann.de hat geschrieben:# Fiese Sauger
User-Agent: ia_archiver
Disallow: /

so fies finde ich den gar nicht. ia_archiver versorgt das internet archive mit daten, die dann u.u. auch als beweismittel zählen. falls z.b. texte oder bilder von einer website geklaut werden, kann gegebenenfalls mithilfe von archive.org nachgewiesen werden, wo die texte / bilder als erstes drauf waren

Jörg hat geschrieben:

Taschenmann.de hat geschrieben:# Fiese Sauger
User-Agent: ia_archiver
Disallow: /

so fies finde ich den gar nicht. ia_archiver versorgt das internet archive mit daten, die dann u.u. auch als beweismittel zählen. falls z.b. texte oder bilder von einer website geklaut werden, kann gegebenenfalls mithilfe von archive.org nachgewiesen werden, wo die texte / bilder als erstes drauf waren

DEshalb habe ich den ja auch ausgespeert, weil bei mir nie was zuerst drauf ist "!!!


LOl