Hallo. Ich habe eine Mail von Yahoo! (hoffe, dass es Yahoo! ist) erhalten, mit dem Hinweis meine Kontaktdaten zu ändern, weil die irgendetwas ändern wolln. Eingangstext: wie wir Ihnen bereits mitgeteilt haben (mitgeteilt haben ist verlinkt) . Sieht ja fast aus wie Phishing. Sogar einen Anruf hatte ...
@Supergrobi, 1. ww..blabla.de/kategorie/name/produkt/name 2. ww..blabla.de/produkt/name Wenn Deine Produkte jeweils in o.g. Verzeichnissen liegen, dann sperr einfach eins davon per robots.txt. Im nicht gesperrten Verzeichnis befinden sich ja ebenfalls noch diesselben Produkte. Aber: Nicht jeder Robo...
Ich möchte Urls mit einem bestimmten Verzeichnis vom crawlen ausschließen. Beispiel: Jede URL wo das Verzeichnis blabla vorkommt, soll nicht gespidert werden. /verzeichnis-1/blabla/verzeichnis-2/index.html /verzeichnis-1/vezeichnis-2/blabla/index.html /blabla/veriechnis-1/verzeichnis-2/blabla/index...