Frage zu robots.txt

Beitrag von **SvRe** » 13.11.2003, 10:07

Servus,

Liest so ein Bot die gesamte robots.txt oder nur bis er etwas für sich passendes gefunden hat.
Oder anders gefragt, wenn ich am Anfang Alles für Alle sperre und dann weiter unten einzeln die Bots deren Besuch ich weiterhin wünsche wieder freigebe, liest der Bot dann nur "Alles für Alle gesperrt" und hört auf oder liest er weiter in der Hoffnung doch irgendwo freigegeben worden zu sein.

Ciao
Sven

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **CMA** » 13.11.2003, 10:19

nein.
Also, wenn du zuerst die tür zuspeerst, kannst ja net bei bestimmten wieder aufmachen.
Du kannst nur die sperren die die net willst, und die die du willst erlauben.
Auf abakus steht sicher ein genaueres Tutorial dazu.

Beitrag von **SvRe** » 13.11.2003, 10:33

Das ist ja Kacke, das heist ja ich muss sie erst reinlassen -->gucken wer es ist-->wieder rausschmeißen-->und sagen beim nächstenmal bleibst du draussen.
Na ja, die Bekannten kann ich ja schon mal von vornerein ausschliessen (Webby hat ja in seiner robots.txt schon einige zusammen getragen

).

Danke für die schnelle Antwort.

Ciao
Sven

Beitrag von **CMA** » 13.11.2003, 11:24

Nein.
Du kannst einfach alle reinlassen, die du brauchst.
sprich google etc.
Dann die von webby nehmen und im netz herum schaun, und alle grabber etc. aussperren..

Beitrag von **SvRe** » 13.11.2003, 12:20

mmh, ist mir jetzt schon klar

, aber andersrum währe trotzdem besser denke ich(weil es gibt ja mehr Mist als Brauchbare), geht aber nicht,leider.

Trotzdem, Vielen Dank
Sven

Beitrag von **pi-de** » 13.11.2003, 13:34

Den Befehl Allow gibt es NICHT.

Man kann nicht sagen was er darf - nur was er nicht darf