Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
Code: Alles auswählen
User-agent: *
Disallow:
Na ich kann mir beim besten Willen nicht vorstellen, dass es noch einen zweiten Webmaster geben sollte, der eine nicht vorhandene robots.txt auf die Startseite umleitet und sich anschließend wundert, warum der Googlebot auch nach Entfernung der Weiterleitung noch zu Fehlern neigte.1234d1 hat geschrieben:Ich frage ja nicht nach der Lösung sondern danach, ob es hier jemanden gibt der schon einmal ähnlichen Fall hatte oder nachvollziehen kann warum Google bei diesem Verhalten URLs blockiert. Denn ansonsten dürfte es sich hierbau ja um einen Crawler Fehler oder Webmaster Tools Fehler handeln.
Die anderen Seiten sind aber soweit alle im Index. In den Webmaster Tools steht neben der Robots.txt URL unter blockierte URLs als Info "Google tried to crawl these URLs in the last 90 days, but was blocked by robots.txt.".Kann es sein das Google durch die Weiterleitung nur die Startseite als Indeseite akzeptiert hat? Dann müssten aber alle anderen Seiten raus sein.
Über die Hauptseite sind die Kategorien und darüber hinaus jede weitere Inhaltsseite normal verlinkt erreichbar.Was meinst du genau mit blockiert? Einfach nicht erkannt? Dann wäre die Idee, dass diese nicht von der Hauptseite zu erreichen sind, die ja index auch sein soll.
Ich sage nichts zu der Weiterleitung. Mir geht es darum, dass der Crawler scheinbar aus einer HTML Seite Disallow Anweisungen gezogen hat, die nicht vorhanden sind. Ich hätte gedacht, dass hier zumindest eine korrekte Syntax und eventuell auch Filetype .txt als Grundlage herangezogen wird.Crawler Fehler? Sollte der Bot von sich aus erkennen, dass er dieser Weiterleitung nicht folgen sollte, weil es sich nur um Chaos handelt?
Entweder es wurde an die Startseite geleitet, dann kann es kein 200 gewesen sein oder es war ein 200, dann kann es keine Weiterleitung gewesen sein. Beides ist nicht möglich.bei einem Webprojekt wurde durch ein CMS beim Aufruf von example.com/robots.txt per 200 Statuscode auf die Startseite geleitet