Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
https://www.robotstxt.org/wc/faq.html hat geschrieben:Two common errors:
Wildcards are _not_ supported: instead of 'Disallow: /tmp/*' just say 'Disallow: /tmp/'.
You shouldn't put more than one path on a Disallow line (this may change in a future version of the spec)
Code: Alles auswählen
User-agent: googlebot
Disallow: *.cgi
Was aber nicht gleich bedeutet, daß auch [ Disallow: /*schrott ] erkannt und richtig interpretiert wird.https://www.searchengineworld.com/misc/robots_txt_crawl.htm hat geschrieben:Google is the first search engine to support Wildcard file extensions.
User-agent: googlebot
Disallow: *.cgi
Aber leider doch nicht mit dem Removal-Tool von Google......Mario670 hat geschrieben:Kann ich bestätigen, dass klapptCode: Alles auswählen
User-agent: googlebot Disallow: *.cgi
Gibt es dazu schon aktuelle Erkentnisse?Armi hat geschrieben:Also könnte ich mit
Disallow: /*schrott
Urls wie
https://www.meinedomain.de/test1_schrott
https://www.meinedomain.de/test2_schrott
https://www.meinedomain.de/test3_schrott
löschen?
Oder mit
Disallow: /*schrott*
https://www.meinedomain.de/test1_schrott_test
https://www.meinedomain.de/test2_schrott_test
https://www.meinedomain.de/test3_schrott_test
Code: Alles auswählen
Disallow: /*?