Frage zu robots.txt

[SvRe]

Servus,

Liest so ein Bot die gesamte robots.txt oder nur bis er etwas für sich passendes gefunden hat.
Oder anders gefragt, wenn ich am Anfang Alles für Alle sperre und dann weiter unten einzeln die Bots deren Besuch ich weiterhin wünsche wieder freigebe, liest der Bot dann nur "Alles für Alle gesperrt" und hört auf oder liest er weiter in der Hoffnung doch irgendwo freigegeben worden zu sein.

Ciao
Sven

[CMA]

nein.
Also, wenn du zuerst die tür zuspeerst, kannst ja net bei bestimmten wieder aufmachen.
Du kannst nur die sperren die die net willst, und die die du willst erlauben.
Auf abakus steht sicher ein genaueres Tutorial dazu.

[SvRe]

Das ist ja Kacke, das heist ja ich muss sie erst reinlassen -->gucken wer es ist-->wieder rausschmeißen-->und sagen beim nächstenmal bleibst du draussen.
Na ja, die Bekannten kann ich ja schon mal von vornerein ausschliessen (Webby hat ja in seiner robots.txt schon einige zusammen getragen ).

Danke für die schnelle Antwort.

Ciao
Sven

[CMA]

Nein.
Du kannst einfach alle reinlassen, die du brauchst.
sprich google etc.
Dann die von webby nehmen und im netz herum schaun, und alle grabber etc. aussperren..

[SvRe]

mmh, ist mir jetzt schon klar , aber andersrum währe trotzdem besser denke ich(weil es gibt ja mehr Mist als Brauchbare), geht aber nicht,leider.

Trotzdem, Vielen Dank
Sven

[pi-de]

Den Befehl Allow gibt es NICHT.

Man kann nicht sagen was er darf - nur was er nicht darf