frage über robots.txt

Beitrag von **OnkelReh** » 09.03.2004, 23:48

hallo Leute!

auf meiner hopage wird versucht die robots.txt zu öffnen,
jedoch ist sie in meinem verzeichnis gar nicht vorhanden.

sollte ich sie selber anlegen?

vielleicht leer?

danke für eure hilfe

von **Anzeige von ABAKUS** »

Beitrag von **glastron** » 09.03.2004, 23:54

User-agent: *
Disallow:

Das sollte mindestens drin stehen.

User-agent: *
Disallow: /

Dieses vielleicht besser nicht!

Gruß, Jan

Beitrag von **OnkelReh** » 09.03.2004, 23:58

also einfach textdatei schreiben mit:
User-agent: *
Disallow:
speichern unter: robots.txt
und fertig?

DANKE FÜR DIE SCHNELLE HILFE

ist es besser keine robots.txt zu haben?

Beitrag von **glastron** » 10.03.2004, 00:05

Ganz genau, so einfach ist es manchmal

Es sei denn Du hast da Sachen oder Verzeichnisse auf Deinem Server, die nicht gespidert werden sollen. Dann sollte man das noch entsprechend abändern.

Hier stehen ein paar Beispiele drin. Bitte mich bitte nicht, das zu übersetzen

https://www.searchengineworld.com/robot ... torial.htm

Jan

Beitrag von **OnkelReh** » 10.03.2004, 00:15

ich habe mir gerade die robots.txt von abakus angesehen.
ooohhh ist die lang
sie verbietet ja so einigen den zugriff.
ist es empfehlenswert sie zu übernehmen?

Beitrag von **viggen** » 11.03.2004, 11:11

Kommt darauf an ob du die gleichen Verzeichnisse hast und diese Ausschließen willst, und ob du die gleichen spider nicht haben willst.

mfg
viggen

Beitrag von **OnkelReh** » 11.03.2004, 17:40

ich meine eher ob es einen grund gibt so viele speider zu verbieten.

Beitrag von **Halli** » 11.03.2004, 18:20

OnkelReh,

mir fallen vor allem zwei Gründe ein, einige Spider zu verbannen:

1. Offline-Reader
Diese Programme holen einzelne Seiten oder sogar Deine komplette Homepage auf die Festplatte des anderen Users. Dort kann er dann nach Belieben Deinen Quelltext analysieren etc. Wenn jemand z.B. versucht, sich mein komplettes Lexikon zu saugen sind das mal so auf die Schnelle 280 MB an Traffic, den ICH bei Überschreiten des Freivolumens zu zahlen habe.

2. Adressen-Sammler
Diese Spezies an Spidern ist mir am meisten verhaßt! Sie checken Deine Site auf der Jagd nach Mailadressen, die dann meistbietend an Spamversender verscherbelt werden.

Beitrag von **OnkelReh** » 11.03.2004, 23:02

ach herje eine böse welt!
also brauche ich mich nicht zu wundern das ich täglich vollgemüld werde mit emails.

Beitrag von **ollipop** » 29.03.2004, 00:37

Halli hat geschrieben:OnkelReh,

mir fallen vor allem zwei Gründe ein, einige Spider zu verbannen:

1. Offline-Reader
2. Adressen-Sammler

Kannst Du diese "bösen" Spider mit Namen nennen?

Beitrag von **Hulot** » 29.03.2004, 04:41

Moin Halli

[...] 2. Adressen-Sammler
Diese Spezies an Spidern ist mir am meisten verhaßt! Sie checken Deine Site auf der Jagd nach Mailadressen, die dann meistbietend an Spamversender verscherbelt werden. [...]

Jou, das stimmt. Hast Du entsprechende Vorkehrungen auf Deinen Seiten getroffen?

Gruß Hulot

Beitrag von **fool** » 30.03.2004, 11:17

@halli

ist es möglich, eine Liste aufzustellen, die die lästigen Offline-Reader und
Adressen-Sammler zusammenfaßt? Ich habe auch mal einen Blick auf die abakus- robots geworfen und dann gedacht, wird die Seite überhaupt noch von irgendwas erfaßt

Aber 1. Offline-Reader
2. Adressen-Sammler
zu kennen und zu bannen wäre ja wirklich sinnvoll.

Schönen Tag wünscht
fool