Frage / automatische generierung der Sitemap via Serverlog

Beitrag von **djtak47** » 09.05.2010, 00:51

Hallo liebe leute ich bin leider etwas ratlos habe schon im internet gesucht bin aber leider nicht fündig geworden.

Und zwar haben wir folgendes Problem, wir generieren eine Sitemap über die Serverlogdatei. Die wird täglich generiert von einem cronjob.

Das problem das ich jetzt habe bzw das sich mir stellt, ist natürlich folgendes da diese Sitemap täglich generiert wird sind nicht immer alle webseiten in der Logdatei und dann eben auch in der Sitemap enthalten.

Habt ihr hier nen Lösungsvorschlag für mich ? Wie oft sollte man die Sitemap generiern, ist es anhand der Serverlogdatei ratsam - da ich hier m.o.w von den Besuchern abhängig bin.

Danke für eure info

von **Anzeige von ABAKUS** »

Beitrag von **Hobby_SEO79** » 09.05.2010, 01:12

Das ist ohne Belange.

Die URLs in deiner Sitemap müssen eine Ebene (Linktiefe) höher liegen als die maximale Linktiefe weiterer Urls. Und die Sitemap muss halt immer mal gecrawlt werden.

Das ist nur relevant für die Erfassung der Websiten, nicht für die Indizierung! Da gelten wieder andere Regeln!

Beitrag von **djtak47** » 09.05.2010, 02:13

ja nur denk ich mir wenn die sitemap mal 500 urls drin hat und manchmal eben 2000 werden google ja nicht alle seiten geliefert, die sitemap liegt im root verzeichnis - falls du das meinst.

Beitrag von **007** » 09.05.2010, 02:33

Kannst ja einen Spider aufsetzen der täglich deine Seite komplett crawlt, dann hast Du alle Urls in den Logfiles

Und auch wenn mir 10487 bessere Lösungen einfallen: Warum liesst Du nicht einfach die Urls der Sitemap des Vortages mit ein? So entsteht dann nach und nach eine vollständige Sitemap.

Beitrag von **Mork vom Ork** » 09.05.2010, 09:24

Da stellt sich mir eine Frage: Wenn man selber schon genau weiß, dass man nicht in der Lage ist, ein komplettes, anständiges Verzeichnis über seine Seiten zu erstellen, warum in aller Welt versucht man dann geradezu krampfhaft, Google trotzdem mit dieser unbrauchbaren Übersicht zu belästigen? Mir ist sowas schleierhaft. Es ist ja kein Makel, keine Übersicht erstellen zu können, der Punkt ist, dass man es dann trotzdem, wider besseren Wissens macht.
Google hat einen Crawler, der seit Jahren wunderbar funktioniert. Welchen Sinn macht es, Googles ordentliche Arbeit durch schlechtere eigene Arbeit ersetzen zu wollen (von Ergänzen kann wohl kaum eine Rede sein)?

– und dann auch noch eine Sitemap aus dem Zugriffsprotokoll, bei so einem Irrsinn möchte ich schreiend aus dem Fenster hüpfen. Von der eingebauten Unvollständigkeit mal abgesehen, man stelle sich das nur mal vor: Der Googlebot grast die Seiten ab und anschließend meldet ihr Google, welche Seiten der Bot abgegrast hat. Hallo?

Kipp' den ganzen Kram über Bord. Du machst dir Arbeit für nichts.

Es ist Unsinn, von außen, d.h. durch Crawling eine Sitemap zu erstellen (egal ob selbst oder einen der unzähligen Sitemap-Generatoren), denn das kann und macht Google mit seinem Bot selbst, und es ist nicht minder überflüssig, von innen eine Sitemap zu erstellen, die auf unvollständigen Daten beruht.

Sinn macht eine Sitemap vielleicht, wenn man zig- oder gar hunderttausende URLs mit öfters wechselndem Inhalt hat, oder man das dringende Bedürfnis verspürt, für einzelne URLs Sitemap-Attribute wie priority anwenden zu müssen. Ansonsten: Weg mit dem Dreck.
Und wenn man eine Sitemap erzeugt, dann nur auf einer vom HTML-Code unabhängigen Datenbasis, d.h. einer, die Google nicht bereits selbst ausliest. Das kann die Datenbank sein, aus der alle HTML-Seiten erzeugt werden, oder meinetwegen auch Handarbeit, aber doch bitte nicht versuchen, einen besseren Crawler als Google schreiben zu wollen, wie es vor lauter Sitemapwahn oft gemacht wird.

Beitrag von **djtak47** » 09.05.2010, 13:54

nagut, angenommen du liegst richtig in deiner annahme un die ganze sitemap ist nicht wirklcih relevant für seiten bis sagen wir mal 3000 urls oder wie auch immer,
soll ich die sitemap dann so stehen lassen oder einfach deaktivieren? Macht sie einen unterschied für google? In unserem fall ist es so das wir eine Firma haben und eine externe firma dieses sitemap tool programmiert hat dh wir haben auch schon etwas geld dafür ausgegeben.

lg

Beitrag von **Mork vom Ork** » 09.05.2010, 16:13

djtak47 hat geschrieben:nagut, angenommen du liegst richtig in deiner annahme un die ganze sitemap ist nicht wirklcih relevant für seiten bis sagen wir mal 3000 urls oder wie auch immer, soll ich die sitemap dann so stehen lassen oder einfach deaktivieren?

Deaktivieren, dies allerdings wohlgemerkt, weil sie unvollständig ist und auf Basis des Protokolls auch bleiben wird. Die Frage, ab wie vielen Tausend Seiten Googles Sitemap-Dienst nützlich sein könnte, spielt auf dieser Grundlage gar keine Rolle.

Bedenke: Eure Sitemap war bisher unvollständig, nach dem Zufallsprinzip zusammengestellt und lies vermutlich ausgerechnet die etwas versteckteren Seiten außen vor, obwohl gerade diese besonders von einer Sitemaperwähnung profitieren könnten. Schlimmer kann es durch das völlige Weglassen gar nicht werden.

Macht sie einen unterschied für google?

Google schreibt zumindest, dass die Sitemap kein Ersatz für den Googlebot ist, sondern nur ein Zusatzangebot. Irgendwo wurde sogar mal ausdrücklich erwähnt, dass der Googlebot auch ohne Sitemap in der Regel alle Seiten findet. Nichtsdestotrotz macht sie sicherlich einen Unterschied, sonst gäbe es sie nicht – die Frage ist schlicht, in welchem Umfeld.

Sorgen würde ich an deiner Stelle für kurze Klickwege durch euer Angebot, so es irgend geht. Das hilft den Besuchern, sich zurecht zu finden, und auch der Googlebot muss nicht kilometerweit wühlen, bis er alle URLs beisammen hat. Kurze Wege sind genauso gut wie eine Sitemap.

Eine bessere Bewertung bekommt ein Angebot alleine für das Erstellen einer Sitemap davon abgesehen definitiv nicht, das würde überhaupt keinen Sinn machen. Die Sitemap dient dazu, sämtliche URLs eines Angebotes schnell zu erfassen, sowie (bei Benutzung der Priorisierung) die Inhalte innerhalb (!) des Angebotes gegeneinander etwas zu gewichten. Nicht mehr, nicht weniger. An deiner Konkurrenz wirst du mit oder ohne Sitemap nicht vorbeiziehen.

eine externe firma dieses sitemap tool programmiert hat dh wir haben auch schon etwas geld dafür ausgegeben.

Ich weiß zugegebenermaßen nicht, was ihr vom Sitemap-Standard alles nutzt, aber wenn's nur eine nackte URL-Liste ist (<loc>-Elemente), dann habt ihr hoffentlich nicht mehr als 20 €, 30 € bezahlt – mehr ist ein im Kern dreizeiliger Textdatei-Filter mit XML-Ausgabe, zweimal grep, einmal echo, nämlich nicht wert.
Falls dem so ist: Nehmt's als Lehrgeld und sucht euch für die Zukunft eine Firma, die berät und dann auch mal ablehnt. Falls ihr mehr bezahlt habt: Ärgert euch und sucht euch für die Zukunft eine Firma, die berät und dann auch mal ablehnt.