Kurze Frage zur robots.txt

Beitrag von **superolli** » 05.06.2012, 07:42

Guten Morgen, kurze Frage... wenn ich in der robots.txt schreibe

User-agent: *
Disallow: /.media/

.. dann wird
a) das Verzeichnis . media nicht gecrawlt aber
b) alle anderen Verzeichnisse werden gecrawlt (auch wenn allow nicht mehr da steht) ?

Richtig?

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Malte Landwehr** » 05.06.2012, 07:45

Richtig. Zumindest Google wird es so machen. Außer sie entscheiden sich, diese Anweisung zu ignorieren. Wird in deinem Fall aber wohl nicht passieren

Beitrag von **superolli** » 05.06.2012, 07:46

Danke Malte! Hab ich verstanden.

Beitrag von **superolli** » 05.06.2012, 08:02

Gibt es irgendwo im Netzt eine Liste der nervigsten und überflüssigsten Crawler?

Beitrag von **800XE** » 05.06.2012, 08:14

superolli hat geschrieben:Gibt es irgendwo im Netzt eine Liste der nervigsten und überflüssigsten Crawler?

abakus-internet-marketing.de/robots.txt

Beitrag von **superolli** » 05.06.2012, 09:00

Oh. Sehr schlau, danke

Beitrag von **Vegas** » 05.06.2012, 11:47

superolli hat geschrieben:Oh. Sehr schlau, danke

Wenn Du ganz sicher gehen willst, wäre auch die Lösung über die .htaccess ein guter Ansatz. Leider haben nämlich die ganzen unerwünschten Bots die Neigung sich nicht unbedingt an die Vorgaben der Robots.txt zu halten, denn die Robots.txt ist im Gegensatz zur .htaccess keine Sperre sondern nur eine Handlungsempfehlung an die Bots.