Newbie Frage zu Robot.txt

Beitrag von **daytrader** » 12.05.2006, 07:49

Hallo,

ich habe zwar die Suche bemüht, aber bei den vielen Treffen nch 30 min. noch keine Antwort auf meine Frage gefunden.
Ist eine Robot.txt pflicht und wie sollte sie Standartmäßig aussehen? Habe zwar mitbekommen, dass man damit Robots aussperren kann. Aber wenn man eine neue Seite hat und erstmal nichts aussperren will!?
Danke!

Grüße Day

von **Anzeige von ABAKUS** »

Beitrag von **Kralle** » 12.05.2006, 08:49

Die robots.txt ist keine Pflicht, kannst du auch weglassen!
Mehr zum Thema (Google sei Dank...): https://www.bjoernsworld.de/suchmaschin ... s-txt.html

Beitrag von **daytrader** » 12.05.2006, 10:42

Ah, danke werde ich mir heute abend mal genauer durchlesen. Also ich die Robot.txt eigentlich nur dazu da, um Verzeichnisse, Crawler etc. auszuschließen und hat nichts mit der Aufnahme in Suchmaschine zu tun?
Habe momentan mit meiner neuen Seite das Problem, das zwar die Domain selber bei in den Suma´s indiziert ist und auch bei einigen Webkatalogen in denen ich sie eingetragen habe, aber es ist bislang noch kein einziges Unterverzeichnis indiziert. Vieleicht bin ich auch nur zu ungeduldig.

Beitrag von **ole1210** » 12.05.2006, 10:48

Wenn du sie weglässt, dann hast du in den Statistiken allerdings viele 404er, weil die Robots versuchen darauf zuzugreifen!

Beitrag von **daytrader** » 12.05.2006, 13:27

Hört sich gefährlich an

. Was heißt denn 404er?

Beitrag von **ole1210** » 12.05.2006, 13:28

Ne Fehlermeldung.

z.B.:
https://www.google.de/test

Beitrag von **Kralle** » 13.05.2006, 00:18

Du kannst auch eine leere robots.txt (das s muß hinten dran!) einstellen, dann entfallen die Fehlermeldungen!

Beitrag von **Andreas I.** » 13.05.2006, 20:42

Code: Alles auswählen

User-agent&#58;*
Disallow&#58;

Die o.g. Einträge sind meiner Meinung nach am besten. Der Robot arbeitet dann nach Schema X, so wie er soll:

- Sucht und findet die robots.txt
- findet in der Datei auwertbaren Text
- Der Text in der Datei verbietet ihm nichts, er darf also alles lesen.

So wird der Robot nicht in irgendwelche Routinen für Sonderfälle gezwungen und alles läuft wie gesagt nach Schema X ab.

Ich verspreche mir davon einen Geschwindigkeitsvorteil in der Indexierung - kann das aber noch nicht wissenschaftlich beweisen. Ist nur ein Gefühl.

Beitrag von **depp ich** » 13.05.2006, 23:20

Standard ist: eine leere Datei robots.txt.
Erspart dir Fehler in der Statistik und macht sonst genau nichts.

Beitrag von **thetrasher** » 14.05.2006, 18:38

depp ich hat geschrieben:Standard ist: eine leere Datei robots.txt.
Erspart dir Fehler in der Statistik und macht sonst genau nichts.

Zu Risiken und Nebenwirkungen einer völlig leeren robots.txt fragen Sie die unfähigen Botprogrammierer.

Einige Tastentipper rechnen bei der Erstellung ihrer Dummbots nicht mit der Auslieferung von 0-Byte-Dateien.

daytrader hat geschrieben:Aber wenn man eine neue Seite hat und erstmal nichts aussperren will!?

Du willst keinen einzigen die robots.txt beachtenden Bot aussperren?! Denk dran, dass nicht nur Bots von "echten" bzw. wünschenswerten Suchmaschinen die robots.txt lesen und beachten! Wenn Du aber meinst ...

Beitrag von **depp ich** » 14.05.2006, 22:34

Jou. und vergiss nicht, dir die gelb-schwarz gestreifte Zwangsjacke anzuziehen, bevor du die Straße überquerst.
Könnte ein Ein/Aus/Sonstwohin-Sperrer mit seiner dicken Liste von Gefahren im schwarzen BMW daherkommen.

Wah! (krank, alle ihr)

Beitrag von **1azrael** » 15.05.2006, 08:08

alan hat hier in seinen Grundlagen etwas über die Robots Datei geschrieben und stellt eine Beisieldatei zur Verfügung. Da sind ne ganze Menge Bots aufgeführt die man aussperren sollte.
Guckst Du hier:
https://www.abakus-internet-marketing.d ... ts-txt.htm