robots.txt warum?

Beitrag von **IIVojvodinacII** » 20.05.2009, 00:42

robots.txt warum?

Hallo Leute

Ich habe kein durchblich was robots.txt angeht wie ich verstanden habe sollte ich das haben wen ich manche Links meiner webseite nicht in Index haben will. Stimmt das?

wen ich mit manche tool meine seite bewerte habe ich eine schlechte bewertung weil ich kein robots.txt habe sollte ich das auf meine webseite wirklich einfügen?

von **Anzeige von ABAKUS** »

Beitrag von **Texxter** » 20.05.2009, 00:57

Mach mal

Nee, im Ernst, ließ doch einfach mal hier: https://de.wikipedia.org/wiki/Robots.txt

Beitrag von **IIVojvodinacII** » 20.05.2009, 08:47

Texxter

danke habe ich mir durchgelesen und checke es trotzdem nicht warum sollte ich gewisse teile meiner webseite für die suchmaschienen ausschliesen?

sollte ich mir trotzdem ein robots.txt anlegen?

von **Anzeige von ABAKUS** »

Beitrag von **chrizz** » 20.05.2009, 09:59

IIVojvodinacII hat geschrieben:Texxter

warum sollte ich gewisse teile meiner webseite für die suchmaschienen ausschliesen?

Weil du beispielsweise nicht willst, das Suchmaschinen die Seiten deines Logins abrufen. Da gibt es dann 100 Beispiele.
Wenn du keine robots.txt hast, wird es passieren, dass in deinen Errorlogs desöfteren 404 Fehler auftreten, da Suchmaschinen versuchen die robots.txt abzurufen. Insofern wäre es vielleicht sinnvoll dann eine robots.txt zu erstellen. Kann ja durchaus leer sein...

Cheers