robots.txt Datei von Abakus .......

Beitrag von **the-new-seo** » 15.02.2007, 17:45

Hallo ,

ist es sinnvoll sich alle Bots fern zu halten die Alan in seiner robots.txt
Datei reingeschrieben hat ?

https://www.abakus-internet-marketing.de/robots.txt

kann dies eventuell schaden oder sich negativ auswirken ?

----------------------
gruß chris
the-new-seo
----------------------

von **Anzeige von ABAKUS** »

Beitrag von **speedy** » 15.02.2007, 20:29

hallo

Nein schaden kanns nicht es ist sogar GUT

Beitrag von **MK8587** » 23.03.2007, 15:46

Was sind den das alles für Bots? Gibt’s allgemein irgendwo eine Übersicht?

Beitrag von **SloMo** » 24.03.2007, 16:55

Ich schätze das momentan so ein, dass man durch eine ausführliche robots.txt allenfalls etwas Traffic einsparen kann. Ein Tropfen auf dem heißen Stein. Die meisten wirklich schädlichen Bots beachten (wenn überhaupt) nur bestimmte Sektionen der robots.txt, z.B. die Googlebot-Sektion.

Die hier ist auch schön:
https://de.wikipedia.org/robots.txt

Beitrag von **Malte Landwehr** » 24.03.2007, 17:00

the-new-seo hat geschrieben:kann dies eventuell schaden oder sich negativ auswirken ?

Du wirst bei Archive.org nicht mehr gelistet werden. Das könnte aber nützlich sein wenn jemand der Wert deiner Seite (Linkkauf/-tausch oder sogar Projektverkauf) abschätzen möchte.