ABAKUS

Synonym hat geschrieben:Allerdings können dort ja auch echte Fehler stehen, etwa wenn auf der Seite was falsch programmiert wurde. Der Sinn dieser Auflistung ist doch eigentlich Fehler zu finden und diese falls erforderlich zu ändern.

Du solltest Googles Webmasterspielzeug nicht dazu nutzen, um Fehler auf deinen Seiten zu finden. Dein Server führt Zugriffs- und Fehlerprotokolle, die wesentlich zuverlässiger sind.

Dein erster Anlaufpunkt beim Auftreten von Problemem sollte also dein eigenes Fehlerprotokoll sein. Steht da nix drin, prüfe die letzten Zugriffe des Googlebots anhand des Zugriffsprotokolls.

Hm ok, dann lass ich da wohl mal die Finger von weg.

Ich ging halt immer davon aus dass die Angaben dort auch was mit der Sitemap ansich zu tun haben.
Webmaster/Website-Inhaber-Hilfe › XML-Sitemaps › Arbeiten mit XML-Sitemaps › HTTP-Fehler

Werde mich dann wohl doch wieder mit den Logfiles herumschlagen.

Danke euch beiden

Synonym hat geschrieben:Auch verstehe ich nicht warum bei meinem Forum nun gut 23.000 Seiten bemängelt werden die es gar nicht gibt und auch noch nie gab.

Sieh an ... das ist doch was. Das kann heissen, dass dein Forum selbst ODER dein(e) Sitemap(generator) an irgendeiner Stelle systematisch fehlerhafte Links (URLs) produziert.

Synonym hat geschrieben:Ich ging halt immer davon aus dass die Angaben dort auch was mit der Sitemap ansich zu tun haben.
Webmaster/Website-Inhaber-Hilfe › XML-Sitemaps › Arbeiten mit XML-Sitemaps › HTTP-Fehler

Das kann aber nur ein Hinweis auf die Ursache sein, luzie hat ja bereits Vermutungen dazu angestellt. Um jedoch überhaupt auf Fehler aufmerksam zu werden, ist Googles „Hilfe“ meines Erachtens nach unnütz.

Werde mich dann wohl doch wieder mit den Logfiles herumschlagen.

Ich behaupte ja, dass bei einem gut geführten Server das Fehlerprotokoll so gut wie leer bleibt - also nix mit Rumschlagen, sondern einmal die Woche eine Handvoll Einträge überfliegen. Ich kriege bummelig pro 400.000 ausgelieferter Seiten einen Fehler, der genauer betrachtet werden müsste (weil er nicht offensichtlich von einem amoklaufenden Bot und sonstiger Müllsoftware verursacht wurde).

Das Problem, dass bei vielen Leuten Massen von Fehlern auflaufen, liegt eher daran, dass diese Fehler ignoriert werden. Davon verschwinden sie aber nicht, und es kommen im Lauf der Zeit immer neue dazu, so dass man früher oder später vor einem riesigen Haufen steht, was dann wiederum der Motivation, Fehler zu beheben, wenig zuträglich ist …

Also: Auch wenn's viel scheint, Schritt für Schritt den Fehlern auf den Grund gehen, dann läuft es bald wieder rund und fehlerfrei, und das Fehlerprotokoll wird zur echten Hilfe.

Hi Ihr beiden

Also am Sitemapgenerator kann es nicht liegen, denn ich verwende keine. In der Sitemap selber (vom Forum) stehen auch nur 11 URLs, also das ist es auch nicht. Dass das Forum irgendwo die falschen Links beinhaltet könnte natürlich sein, aber ich habe da schon mehrfach gesucht und nirgends auch nur einen einzigen davon gefunden. Egal welchen Spider oder auch Crawler ich da auch drüber jage, die fehlerhaften URLs kommen nie zu stande. Nur Google greift immer wieder darauf zu. Yahoo oder MSN auch nicht.

Und luzie genau zu dem Punkt hattest Du mir im Google Forum geantwortet. Das Ergebnis dort war einfach per robots.txt sperren. Aber das ist ja nun nicht wirklich eine brauchbare Lösung. Das verhindert zwar dass Google die Seiten in den Index aufnimmt, aber nicht dass das WMT vollläuft mit Meldungen wegen "nicht gefunden" oder "durch robots.txt gesperrt".

Und Mork vom Ork, dann muss ich wohl meine Logfiles irgendwie umbiegen, denn bei mir stehen normale Zugriffe 200, Fehler 404 und Umleitungen 301 im gleichen File und da sind es dann schon gut 30 MB Daten pro Tag und sehr schwer da überhaupt etwas zu finden was falsch sein könnte.
Ich schließe ja nicht aus dass irgendwo das System fehlerhafte Links produziert, genau die will ich ja finden und beheben. Hin und wieder finde ich auch so einen Eintrag und kann den Fehler korrigieren, aber das ist echt nur Zufall den die meisten Seiten die einen 404 liefern gibt es wirklich nicht. Leider lässt sich aber nirgends nachvollziehen woher der Zugriff erfolgt bzw. zu 99% nicht, das ist ja das Problem.

Also ich suche dann mal Stück für Stück weiter, vielleicht komme ich dann ja mal auf einen grünen Zweig.

Danke und Gruß

Synonym hat geschrieben:dann muss ich wohl meine Logfiles irgendwie umbiegen, denn bei mir stehen normale Zugriffe 200, Fehler 404 und Umleitungen 301 im gleichen File und da sind es dann schon gut 30 MB Daten pro Tag und sehr schwer da überhaupt etwas zu finden was falsch sein könnte.

Üblicherweise führen Webserver zwei Protokolle: Das Zugriffsprotokoll, in dem alle Zugriffe landen (das hast du gerade zufassen), und ein separates Fehlerprotokoll, in dem ausschließlich Fehler gemeldet werden, und zwar (meist) deutlich detailierter, als es der Öffentlichkeit im Browser mitgeteilt wird. Frage deinen Hoster, wo du letzteres Protokoll findest.

Hi Mork vom Ork,
natürlich habe ich auch ein separates error_log wenn Du das meinst, dort stehen auch Fehler drinnen, aber nicht alle.
Alle Zugriffe die auf die Domain erfolgen, bei denen es die Datei gar nicht gibt und mod_rewrite nicht aktiv wird stehen im error_log. Soweit so gut.

Aber alle anderen Zugriffe die erst über die .htaccess laufen, dann die Datenbank befragen und für den Fall, dass es die Seite nicht gibt, PHP einen 404 sendet, dann stehen die Einträge im access_log bei mir, nicht aber im error_log.

Kann man das dem Server irgenwie beibringen dass der die auch ins error_log schreibt? Das mit der ErrorLog-Direktive habe ich ja schon, aber da stehen keine Einträge drinnen wenn der 404 von PHP kommt sondern nur die direkt vom Apache. Wenn dem anders wäre wäre es auch leicht die Fehler zu finden, nun weiß ich auch was Du meinst.

z.B. auch Forbidden (403). Kommt das direkt von der .htaccess, etwa per "deny from", dann steht es auch im error_log. Kommt es aber z.B. von der Bot-Trap, dann steht es nur im access_log.

Synonym hat geschrieben:[Wenn] PHP einen 404 sendet, dann stehen die Einträge im access_log bei mir, nicht aber im error_log.

Ahso. Für die Einträge in das Fehlerprotokoll ist das jeweilige Modul verantwortlich, das den Fehler erzeugt, in diesem Falle also PHP. Du kannst mittels error_log() beliebigen Text in das Protokoll schreiben.

Hi Mork vom Ork,
na das schaut ja was vielversprechendes zu sein. Bei "error_reporting()" war ich schon oft genug, aber das "error_log()" hatte ich immer übersehen.

Das "error_log = /var/log/php_error.log" in der php.ini brachte nämlich auch nicht das gewünschte, sondern loggte nur echte PHP-Fehler (Syntax, Speicherüberlauf, Laufzeitüberschreitung, Fehler bei Variablen und Konstanten und dergleichen).

Mit error_log() sollte es nun ja gehen explizit vor header() einen Eintrag abzusetzen.

Werde mich da mal ranmachen.

Danke Dir !