ABAKUS

Viele haben sehr ungewoehnliche Fehler in ihrer robots.txt:

Bastele grad wieder an meinem Backlink Checker herum und hab mir eben mal ein paar robots.txt ausgeben lassen, da sind viele Kuriositaeten dabei (viele robots.txt sind vom Aufbau auch einfach nur falsch), z.B. fuer was soll folgendes bitte stehen?

User-agent: *
Disallow:

uebersetzt: Regel fuer alle User-Agents, verbiete: (hab ich wohl vergessen, was ich verbieten wollte)...

Noch lustiger sind Leute die in ihrer robots.txt (natuerlich nicht interpretierten) PHP Code haben oder der Clou: mit Komma getrennt darin Keywords auflisten.

Viele sperren auch einfach alle Robots aus und wundern sich warum ihre Domain nie vom "PR -1" weg kommt

Airport1 hat geschrieben:User-agent: *
Disallow:

uebersetzt: Regel fuer alle User-Agents, verbiete: (hab ich wohl vergessen, was ich verbieten wollte)...

Diese Regel sagt aus, dass der Robot sämtliche Inhalte indizieren darf. Erst das Backslash verbietet dem Robot jegliche Inhalte zu indizieren.

OK, syntaktisch ist es tatsaechlich ok und kann so verwendet werden. Duerfte wohl einer gaenzlich leeren oder gar fehlenden robots.txt gleich kommen?

mit dem kleinen unterschied das der 404er bei der anforderung durch suchmaschinen entfällt

Wie sperre ich eigentlich den Aufruf der robots.txt für die Öffentlichkeit ?

@larsneo: OK, ein 404er sollte aber auch bei einer leeren robots.txt entfallen, und es sollte semantisch gleichwertig sein. Im Exclusion Standard wird das Disallow: auch nur dazu benutzt um bestimmten Crawlern "vollen Zugriff" zu gewaehren, da macht es dann auch Sinn. Hingegen hat das alleinige Konstrukt "Erlaube allen alles" ungefaehr den gleichen Wert wie ein Schild an der Tuer zum Baecker: "Jeder darf eintreten" - btw, nice Avatar

@Luckybuy3000: Das macht doch ueberhaupt keinen Sinn! Oder gehoerst Du zu denen die in der robots.txt PHP Code oder Keywords stehen haben ?

Nein, dazu gehöre ich nicht. Habe neulich nur die robots.txt einer bestimmten Seite ansehen wollen und eine Fehlermeldung bekommen. Die Datei wurde also irgendwo anders untergebracht.

Dann hatte die Domain in der Regel einfach gar keine robots.txt - das kommt durchaus vor.

Dann wird meist die Standard 404 Seite des Hosters geschickt (oft mit Bild - eine wahre Freude fuer Robots), da fuer HTTP 404 meist auch nichts individuelles eingerichtet ist.

Kannst ja mal mit https://www.ranking-hits.de/tools.php#header nachsehen ob es einfach nur ein 404er ist.

Airport1 hat geschrieben:Dann wird meist die Standard 404 Seite des Hosters geschickt (oft mit Bild - eine wahre Freude fuer Robots), da fuer HTTP 404 meist auch nichts individuelles eingerichtet ist.

Solange der korrekte HTTP Status Code gesendet wird ist dem Bot die Seite egal?!

Airport1 hat geschrieben:Oder gehoerst Du zu denen die in der robots.txt PHP Code oder Keywords stehen haben ?

wie kommen leutz überhaupt drauf keywords in die robots.txt zu tun. soweit ich weiß werden die doch vollig ignoriert bzw. sogar die ganze datei.