Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

nochwas zur robot.txt was haltet ihr davon?

Hier können Sie Ihre Fragen zum Thema Suchmaschinenoptimierung (SEO) / Positionierung stellen
Neues Thema Antworten
Taschenmann.de
PostRank 1
PostRank 1
Beiträge: 4
Registriert: 02.11.2003, 20:13

Beitrag von Taschenmann.de » 02.11.2003, 21:25

Kann ich diese robot.txt auf meinen serer schmeißsen?




User-agent: *
Disallow: /assets/
Disallow: /docs/

# Mehr Info: https://www.google.de/intl/de/webmasters/
User-agent: Googlebot*
Disallow: /*.js$
#Disallow: /*.gif$
#Disallow: /*.jpg$

# Bilder bleiben hier!
User-Agent: Googlebot-Image
Disallow: /

# AltaVista's Photo Finder
User-Agent: vscooter
Disallow: /

# Fiese Sauger
User-Agent: ia_archiver
Disallow: /
User-agent: Teleport*
Disallow: /
User-agent: Webwhacker*
Disallow: /
User-agent: Webzip*
Disallow: /
User-agent: Net Attache*
Disallow: /
User-agent: SiteSnagger*
Disallow: /
User-agent: HTTrack*
Disallow: /
User-agent: WebCapture*
Disallow: /
User-agent: WebSauger*
Disallow: /
User-agent: WebReaper*
Disallow: /
User-agent: Roverbot*
Disallow: /