Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
Code: Alles auswählen
User-agent: *
Disallow: /search/
Disallow: /*archive.html
Allow: /
Code: Alles auswählen
User-agent: *
Disallow: /search/
Disallow: /*archive.html$
Ich schätze deine Meinung, wir kommen aus dem gleichen Lager.Thomas B. hat geschrieben:Ein Bot macht das was du ihm sagst und mit der letzten Zeile hebst du die disallow Regeln wieder auf. Allow selber solltest du auch nicht nutzen da es nicht von allen Bots verstanden wird, genauso wie *.Code: Alles auswählen
User-agent: * Disallow: /search/ Disallow: /*archive.html Allow: /
Code: Alles auswählen
User-agent: * Disallow: /search/ Disallow: /*archive.html$
Ich stimme dir voll und ganz zu.Waelti hat geschrieben:@kristian
nu: metatag "noindex" und das disallow in robots.txt können die gleiche Wirkung haben: Seiten landen nicht im index.
robots.txt kann aber *nicht* zum Entfernen von Seiten aus dem Index verwendet werden. Der Metatag "noindex" schon. Und es geht ja um das Entfernen von Seiten aus dem Index und nicht um das "nicht aufnehmen in den Index"?
Stimmt, Allow macht hier keinen Sinn, das habe ich übersehen und nun gelöscht, danke.Thomas B. hat geschrieben:Ein Bot macht das was du ihm sagst und mit der letzten Zeile hebst du die disallow Regeln wieder auf. Allow selber solltest du auch nicht nutzen da es nicht von allen Bots verstanden wird, genauso wie *.Code: Alles auswählen
User-agent: * Disallow: /search/ Disallow: /*archive.html Allow: /
Code: Alles auswählen
User-agent: * Disallow: /search/ Disallow: /*archive.html$
Vergiss das GANZ schnell. Robots Exclusion Standard ist der Grundlagenvertrag zwischen Websites und Suchmaschinen und Google hält sich sklavisch an diesen Standard. Täten sie es nicht, wäre ihr Geschäft ganz schnell nur noch Makulatur, unwillige Website-Betreiber könnten sie wegen Urheberrechtsverletzung sofort in Grund und Boden klagen. Das können sie nur deshalb nicht, weil Robots Exclusion Standard jederzeit den Ausstieg aus der Suchmaschine erlaubt.Kristian hat geschrieben: ... "Robots Exclusion Standard" ist halt nur eine Idee, die von Leuten wie dir und mir hochgehalten wird.
OK, das habe ich zu hart formuliert, aber..luzie hat geschrieben:Vergiss das GANZ schnell. Robots Exclusion Standard ist der Grundlagenvertrag zwischen Websites und Suchmaschinen und Google hält sich sklavisch an diesen Standard. Täten sie es nicht, wäre ihr Geschäft ganz schnell nur noch Makulatur, unwillige Website-Betreiber könnten sie wegen Urheberrechtsverletzung sofort in Grund und Boden klagen. Das können sie nur deshalb nicht, weil Robots Exclusion Standard jederzeit den Ausstieg aus der Suchmaschine erlaubt.Kristian hat geschrieben: ... "Robots Exclusion Standard" ist halt nur eine Idee, die von Leuten wie dir und mir hochgehalten wird.
Wie meinst du das? Aus welchem Lager? Aber Danke für die Info.Kristian hat geschrieben:...
Ich schätze deine Meinung, wir kommen aus dem gleichen Lager.
...
Ja, ich weiss, ich finde das auch lästig - aber es steht immer noch in vollem Einklang mit dem Standard - wenn man's durchdenkt.Kristian hat geschrieben:"Zwar werden die Inhalte der Seiten, die durch die Datei "robots.txt" blockiert sind, weder gecrawlt noch indexiert, möglicherweise erfolgt jedoch dennoch eine Indexierung der URLs, falls diese auf anderen Webseiten gefunden werden.