ABAKUS

Verfasst: **05.10.2006, 18:57**

Hallo,

https://www.hpv.org/shop/gebraucht/ steht im Index (einfach nach HPV gebraucht suchen).
Aber https://www.hpv.org/robots.txt sagt:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; *
&#91;...&#93;
DisAllow&#58; /shop/

Eigentlich dürfte wegen der zweiten Zeile in der Datei die gesamte Site nicht im Index sein, warum ist sie es trotzdem?

Gruß, Andreas

Verfasst: **05.10.2006, 18:59**

Nein, ist nicht korrekt. Die zweite Zeile müsste lauten:

Disallow: /

Mit diesem Befehl wird die ganze Seite gesperrt.
Bei Disallow sind keine wildchars (? oder *) erlaubt.

Verfasst: **05.10.2006, 19:22**

Hallo Blinkster,

blinkster hat geschrieben:Die zweite Zeile müsste lauten:

Disallow: /

Aber die letztgenannte Zeile müsste doch die genannte URL für Bots sperren...

Gruß, Andreas

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Verfasst: **05.10.2006, 19:51**

Zeige am besten mal die gesamte robots.txt
Die ist ja jetzt schon mit Fehlern übersäht.

Verfasst: **05.10.2006, 20:02**

Code: Alles auswählen

# robots.txt zu http&#58;//www.hpv-ev.de/

User-agent&#58; *
Disallow&#58; *

Disallow&#58; /bilder/
Disallow&#58; /cgi-bin/
Disallow&#58; /counter/
Disallow&#58; /download/
Disallow&#58; /kalender/
Disallow&#58; /mitglied/
Disallow&#58; /tmp/
Disallow&#58; /_*/
Disallow&#58; /footer.php
Disallow&#58; /header.php
Disallow&#58; /info.php
Disallow&#58; /fehler.php
Disallow&#58; /kontakt.php
Disallow&#58; /mail.php
DisAllow&#58; /event/
DisAllow&#58; /home/
DisAllow&#58; /links/
DisAllow&#58; /news/
DisAllow&#58; /scene/
DisAllow&#58; /shop/
DisAllow&#58; /technik/
DisAllow&#58; /verein/

Verfasst: **05.10.2006, 20:03**

Am besten hier abschreiben:
https://www.robotstxt.org/wc/exclusion.html

Da sind dann wenigstens keine Fehler drin. Alles andere, was sonst so geschrieben wird ist immer mit Vorsicht zu geniessen.

Verfasst: **05.10.2006, 20:17**

Also zumindest die Einträge mit den Wildchars, bis auf User-Agent sind falsch und sollten gelöscht werden!

Was aber interessant wäre: Wird die robots case insensitive gecrawlt? Also nicht nur bei den Verzeichnissen, sondern auch bei den Befehlen? -> DisAllow

Verfasst: **05.10.2006, 20:23**

Hallo,

blinkster hat geschrieben:Also zumindest die Einträge mit den Wildchars, bis auf User-Agent sind falsch und sollten gelöscht werden!

Was aber interessant wäre: Wird die robots case insensitive gecrawlt? Also nicht nur bei den Verzeichnissen, sondern auch bei den Befehlen? -> DisAllow

Offiziell muss es "Disallow" heißen. Crawler dürfen also case insensitive sein.

Verboten ist die Leerzeile, denn sie kennzeichnet das Ende des Datensatzes. Eigentlich müsste nach einer Leerzeile wieder "User-agent..." kommen oder die Datei zu Ende sein. Die Bots werden vermutlich "Disallow: *" ignorieren und danach gar nichts mehr auswerten.

Im Dunkeln bleibt die Intention der Autoren, denn die Seiten sind für die Zielgruppe durchaus nützlich und der einizge Grund, sie aus dem Index zu nehmen, wären Traffickosten beim Provider. Dann kann man aber gleich die Seiten löschen...

Gruß, Andreas

ABAKUS

Warum ist diese Seite im Index?

Warum ist diese Seite im Index?