Falsche URLs werden gecrawled
Verfasst: 26.01.2012, 15:33
Hallo.
Ich betreibe zwei Seiten auf den gleichen Server. Eigentlich läuft alles gut, jedoch crawled der Crawler von Google anscheinend Kategorien von der einen Seite, aber mit der URL der anderen.
Das sieht in etwa so aus:
www.seite1.de/kategorie1/1.html <-- diese Seite existiert und wird auch für diese TLD normal gecrawled und zugewiesen.
Der Crawler versucht nun die gleichen Inhalte auch auf der zweiten TLD zu finden:
www.seite2.de/kategorie1/1.html <-- diese Seite exisiert natürlich nicht auf dieser TLD, entsprechend zeigt der Crawler im Webmaster-Tool 404-Fehler dafür an (insgesamt mittlerweile einige Tausend).
Es handelt sich um zwei völlig verschiedene Seiten; die Sitemaps die ich eingereicht habe sind korrekt.
Hat einer eine Ahnung woran das liegt? Kann ich das irgendwie ausschließen für den Crawler, oder besser: vollständig beheben?
Gruß,
TK1
EDIT: Vielleicht noch erwähnenswert: Die zweite TLD hatte früher auf TLD1 weitergeleitet, bis sie jetzt quasi selbstständig ist. Ich kann mir vorstellen, dass der Crawler nach Pfaden sucht, die zuvor ja mittels dieser URL erreichbar waren, es aber nicht mehr sind. Kann ich das ausschließen?
Ich betreibe zwei Seiten auf den gleichen Server. Eigentlich läuft alles gut, jedoch crawled der Crawler von Google anscheinend Kategorien von der einen Seite, aber mit der URL der anderen.
Das sieht in etwa so aus:
www.seite1.de/kategorie1/1.html <-- diese Seite existiert und wird auch für diese TLD normal gecrawled und zugewiesen.
Der Crawler versucht nun die gleichen Inhalte auch auf der zweiten TLD zu finden:
www.seite2.de/kategorie1/1.html <-- diese Seite exisiert natürlich nicht auf dieser TLD, entsprechend zeigt der Crawler im Webmaster-Tool 404-Fehler dafür an (insgesamt mittlerweile einige Tausend).
Es handelt sich um zwei völlig verschiedene Seiten; die Sitemaps die ich eingereicht habe sind korrekt.
Hat einer eine Ahnung woran das liegt? Kann ich das irgendwie ausschließen für den Crawler, oder besser: vollständig beheben?
Gruß,
TK1
EDIT: Vielleicht noch erwähnenswert: Die zweite TLD hatte früher auf TLD1 weitergeleitet, bis sie jetzt quasi selbstständig ist. Ich kann mir vorstellen, dass der Crawler nach Pfaden sucht, die zuvor ja mittels dieser URL erreichbar waren, es aber nicht mehr sind. Kann ich das ausschließen?
