robots & .htaccess

Beitrag von **Anonymous** » 17.03.2007, 16:14

Ich habe mich mal mit der robots & .htaccess versucht.

Es geht um folgenden Beispieldateien:
https://www.konzept-welt.de/tips/robots-txt.html
https://www.konzept-welt.de/tips/htaccess.html

Ich kann also mit den Dateien, Crawler und Programme ausperren, die ich nicht möchte.

Wäre es nicht einfacher, wenn man die Crawler und Programme eintragen würde, die meine Seite besuchen dürfen?

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Hasso** » 17.03.2007, 17:43

solbach hat geschrieben:Wäre es nicht einfacher, wenn man die Crawler und Programme eintragen würde, die meine Seite besuchen dürfen?

In der Praxis leider nicht, denn man kann nie sicher wissen mit welcher IP-Adresse bzw. Browserkennung der nächste Client (Robot oder Besucher) kommt, dem Du gerne den Zugriff auf Deiner Seite zulassen würdest.

Gruß
Hasso