Crawling-Fehler Webmastertools TROTZ rewrite?

Beitrag von **Chr1s** » 03.01.2012, 15:00

Hallo Forum,

mein Webmaster-Tools-Account läuft über vor Crawling-Fehlern.

Wie es dazu kam:
In 2010 habe ich meine Seite (ein Online-Shop) auf ein neues Shop-System umgestellt. Alle alten URLS wurden pre rewrite redirected. So weit, so gut.

Nun habe ich das Shopsystem abermals gewechselt. Also wieder neue URLs.
Die Produktpalette wurde auf ein Thema konzentriert. Also nun statt 300 Produkten nur noch die lukrativsten 50.

Nun zeigt mir Google in den Webmaster-Tools massenweise 404er, obwohl ich 90% dieser 404er schon per Rewrite permanent in der .htaccess umgeleitet habe.

Zudem hunderte "durch robots.txt gesperrt", die ich mir nicht erklären kann. Hier werden URLs gezeigt, die eindeutig dem alten Shopsystem zuzuordnen sind. "URL durch "robots.txt" eingeschränkt" ist dann dort zu lesen. Es handelt sich vornehmlich um Bilder von Produkten...

Bin - wie man liest - nur rudimentär SEO-geschult.

Bin über jeden Tipp dankbar.

Gruß
Chr1s

von **Anzeige von ABAKUS** »

Beitrag von **om-labs** » 03.01.2012, 16:57

Google hat ein grosses Gedächniss. Der Crawler besucht auch alte Strukturen immer wieder. Wenn diese alten URL's durch die Robots.txt eingeschränkt sind, dann ist alls OK.

Beitrag von **Chr1s** » 03.01.2012, 17:07

Vielen Dank für die schnelle Antwort.

Noch 3 Fragen:

1. Bedeutet dies, dass ich die URLs, die momentan als 404 erscheinen, per robots.txt ausschließen soll?
2. Hier dann auch nur die, die ich nicht per 301 umleite, oder?
3. Warum werden URLs noch als 404 gezeigt, obwohl auf ihnen ein funktionierender rewrite steht?

Danke nochmals
Chr1s

Beitrag von **om-labs** » 03.01.2012, 17:37

zu1 und 3: zeitliche Verzögerung wahrscheinlich. Hängt davon ab, wann der Bot das letzte mal die URL besucht hat. 404er die noch nicht gesperrt sind, entweder sperren oder umleiten.
zu2: Ja in der robots.txt solltest du nur die URL's sperren die nicht umgeleitet werden, sonst könnte der Bot der Umleitung ja gar nicht folgen.

Beitrag von **Chr1s** » 03.01.2012, 20:07

Heißt das zu 1 und 3 dann, dass es mit der Zeit immer weniger 404er werden sollten, sofern sie alle per 301 umgeleitet sind?

Beitrag von **om-labs** » 03.01.2012, 20:17

Wenn umgeleitet dann sollten es weniger werden. Bei 404er ist Google hartnäckig, die werden immer mal wieder getestet.

Beitrag von **Chr1s** » 03.01.2012, 20:42

Okay. Dann warte ich wohl lieber ab. Ich befürchte, wenn ich die ganzen alten Artikel blocke, wird Google das noch weniger gefallen...