Wie wichtig ist robot.txt?

Beitrag von **Magical** » 06.09.2005, 03:39

Habe immer als 404er dass die robot.txt nicht gefunden wird.
Hab bisher auch keine eingerichtet.
Deshalb jetzt meine Frage, wie wichtig ist eine robot.txt? oder reicht es einfach nur im head-Bereich wenn etwas nicht gecrawlt werden soll? Wundere mich nur, weshalb überhaupt die robot.txt aufgerufen wird? Ist das Standard bei den spiders? oder muss da irgendwo was falsches angegeben sein`?
Würde mich freuen, wenn ihr mir helfen könnt.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **angelpage** » 06.09.2005, 07:43

Darüber könnte man allein Stunden referieren.

Gib einfach in Google "robots.txt" ein, schau Dir einige Ergebnisse an und stelle erst dann Fragen (falls überhaupt noch vorhanden) ...

Beitrag von **Hobby-SEO** » 06.09.2005, 10:51

@Magical:

Ja, es ist Standard bei den guten (!) Suchmaschinen, dass die robots.txt (robots mit "s" hinten!) aufgerufen wird. Gute Sumas halten sich ja an die Anweisungen, die in der robots.txt stehen.

Ich kenne Deine Seite nicht; deshalb kann ich Dir auch nicht sagen, ob in Deinem Fall eine robots.txt angebracht wäre.
In aller Regel sollte das Aussperren von Spidern via entsprechendem Metatag im <head>- Bereich der betreffenden Seite aber exakt denselben Effekt haben.

Eine robots.txt schadet übrigens nie (außer man schreibt Blödsinn rein!)
Hobby-SEO

Beitrag von **axelm** » 06.09.2005, 11:28

leg im root eine leere Textdatei robots.txt an.
Selbst wenn du es nicht brauchst hat es denn Vorteil, dass "robots.txt nicht gefunden 404" nicht im Error Log des Webservers auftaucht und du evtl. andere 404 Fehler schneller sehen kannst und dich um solchen kleinkram nicht kümmern mußt dito mit favicon.ico

Beitrag von **depp ich** » 06.09.2005, 12:19

Ja, so ist es:
robots.txt - auch wenn leer
favicon.ico - auch wenn völlig unpassend
gehört zur Grundausstattung, wenn du halbwegs saubere Statistiken haben willst.

Beitrag von **Magical** » 06.09.2005, 22:26

Danke für Eure Antworten.

Dann werd ich das mal besser anlegen und draufstellen.