Warum ist diese Seite im Index?

Beitrag von **AndreasR** » 05.10.2006, 18:57

Hallo,

https://www.hpv.org/shop/gebraucht/ steht im Index (einfach nach HPV gebraucht suchen).
Aber https://www.hpv.org/robots.txt sagt:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; *
&#91;...&#93;
DisAllow&#58; /shop/

Eigentlich dürfte wegen der zweiten Zeile in der Datei die gesamte Site nicht im Index sein, warum ist sie es trotzdem?

Gruß, Andreas

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **blinkster** » 05.10.2006, 18:59

Nein, ist nicht korrekt. Die zweite Zeile müsste lauten:

Disallow: /

Mit diesem Befehl wird die ganze Seite gesperrt.
Bei Disallow sind keine wildchars (? oder *) erlaubt.

Beitrag von **AndreasR** » 05.10.2006, 19:22

Hallo Blinkster,

blinkster hat geschrieben:Die zweite Zeile müsste lauten:

Disallow: /

Aber die letztgenannte Zeile müsste doch die genannte URL für Bots sperren...

Gruß, Andreas

von **Anzeige von ABAKUS** »

Beitrag von **blinkster** » 05.10.2006, 19:51

Zeige am besten mal die gesamte robots.txt
Die ist ja jetzt schon mit Fehlern übersäht.

Beitrag von **AndreasR** » 05.10.2006, 20:02

Code: Alles auswählen

# robots.txt zu http&#58;//www.hpv-ev.de/

User-agent&#58; *
Disallow&#58; *

Disallow&#58; /bilder/
Disallow&#58; /cgi-bin/
Disallow&#58; /counter/
Disallow&#58; /download/
Disallow&#58; /kalender/
Disallow&#58; /mitglied/
Disallow&#58; /tmp/
Disallow&#58; /_*/
Disallow&#58; /footer.php
Disallow&#58; /header.php
Disallow&#58; /info.php
Disallow&#58; /fehler.php
Disallow&#58; /kontakt.php
Disallow&#58; /mail.php
DisAllow&#58; /event/
DisAllow&#58; /home/
DisAllow&#58; /links/
DisAllow&#58; /news/
DisAllow&#58; /scene/
DisAllow&#58; /shop/
DisAllow&#58; /technik/
DisAllow&#58; /verein/

Beitrag von **Fridaynite** » 05.10.2006, 20:03

Am besten hier abschreiben:
https://www.robotstxt.org/wc/exclusion.html

Da sind dann wenigstens keine Fehler drin. Alles andere, was sonst so geschrieben wird ist immer mit Vorsicht zu geniessen.

Beitrag von **blinkster** » 05.10.2006, 20:17

Also zumindest die Einträge mit den Wildchars, bis auf User-Agent sind falsch und sollten gelöscht werden!

Was aber interessant wäre: Wird die robots case insensitive gecrawlt? Also nicht nur bei den Verzeichnissen, sondern auch bei den Befehlen? -> DisAllow

Beitrag von **AndreasR** » 05.10.2006, 20:23

Hallo,

blinkster hat geschrieben:Also zumindest die Einträge mit den Wildchars, bis auf User-Agent sind falsch und sollten gelöscht werden!

Was aber interessant wäre: Wird die robots case insensitive gecrawlt? Also nicht nur bei den Verzeichnissen, sondern auch bei den Befehlen? -> DisAllow

Offiziell muss es "Disallow" heißen. Crawler dürfen also case insensitive sein.

Verboten ist die Leerzeile, denn sie kennzeichnet das Ende des Datensatzes. Eigentlich müsste nach einer Leerzeile wieder "User-agent..." kommen oder die Datei zu Ende sein. Die Bots werden vermutlich "Disallow: *" ignorieren und danach gar nichts mehr auswerten.

Im Dunkeln bleibt die Intention der Autoren, denn die Seiten sind für die Zielgruppe durchaus nützlich und der einizge Grund, sie aus dem Index zu nehmen, wären Traffickosten beim Provider. Dann kann man aber gleich die Seiten löschen...

Gruß, Andreas