Google Sitemaps

[Fridaynite]

Dieser Test ist wirklich interessant. Vor allem bei den 404ern würds mich ja brennend interessieren. Von einer meiner Domains vagabundieren immer noch tausende von 404er Seiten mi Index.

[Luki]

https://www.google.com/sitemap.xml
also wenn Google das schon selbst verwendet... - denke ich wird eine einfache XML Sitemap für die Spider bald Standard!?

Ich sehe überwiegend Vorteile:
- Suchmaschinen wird das spidern enorm erleichtert, da sie mit einem Blick sehen, welche Seiten alle zu indexieren sind, sowie wann sie zuletzt geupdatet wurden!

Nachteile sehe ich nur hier:
- das Spammer einfach ganze DoorwayNetzwerke spidern lassen können; aber ob nun eine Seite mit vielen Links oder eine XML Datei ist ja wohl eigentlich egal...

das mit dem Abgleich mit dem normalen Index ist Unsinn genauso das mit den 404ern siehe: https://forums.searchenginewatch.com/sh ... php?t=6058 sowie FAQ - ist die XML Datei nur eine Hilfe für Google, ansonsten wird aber auch normal gespidert, also falls die Sitemap nicht vollständig ist oder nicht geupdatet wird, gibt es eine Fallback auf das normale Spidern...

oder sehe ich hier was falsch?

[joorek]

google scheint wirklich am spam-problem zu scheitern.

jetzt wollen sie also nicht-spam maps zum abgleich haben

[axelm]

>Von einer meiner Domains vagabundieren immer noch tausende
>von 404er Seiten mi Index.

Dafür gibt es wirklich keinen Grund.In die robots.txt
User-agent: *
Disallow: /alteseite1.shtml
Disallow: /oldpage2.php

schreiben, hochladen, bei
https://services.google.com:8882/urlcon ... tcmd=login
anmelden und URL der robots.txt angeben und nach 24 Stunden sind die Dinger weg.

Bringt dir keinen Bullshit traffic mehr zu seiten die du nicht mehr online hast, müllt dir deine Logs nicht mehr zu und erleichtert den Index sogar um einige tote Seiten.

[Jojo]

@joorek
Das ist doch Käse. Gegen Spam nützt das nichts.

Zum einen wird es dadurch für Google einfacher alle Seiten einer Website zu indizieren, auch die die in einer sehr tiefen Ebene liegen, zum anderen würde es einfacher werden einen aktuellen Index zu liefern. Besonders im letzteren sehe ich eine besondere Chance für diese Idee. Spammern wird es nicht viel bringen, weil sich ihre Spam-Seite nicht oft ändern. Seite die ständig aktuelle News bringen können dagegen Google zeitnah über diese neue News informieren.

[bull]

www.google.com/webmasters/sitemaps/ scheint überlastet, bekomme seit einer Dreiviertelstunde einen 502

[Jansen]

Hallo,

kurzer Zwischenbericht: Google hat sich 3 Minuten nach der Anmeldung die Sitemap geholt, seitdem ist aber noch nichts passiert...

Wünsche allen ein schönes Wochenende und melde mich in selbiges ab!

Grüsse,
Jan

P.S.: Ich hoffe, bis Mo. ist igrendwas passiert und wir alle sind etwas schlauer.

[Luki]

jo das Teil läuft laut GoogleGuy auf einem normalen Server und wurde soeben geslashdottet: https://slashdot.org und seitdem ist es down bzw. beinahe alle Seiten die bei slashdot verlinkt sind.

immer wieder herrlich - beinahe jede Site die geslashdottet, bricht zusammen, sogar Google ist von deren Traffic überlastet

GoogleGuy:

I think the Sitemaps links to a "normal" webserver, as opposed to our custom setup. Plus the Sitemaps stuff is using https. Looks like a higher amount of interest than a typical Slashdotting too. I alerted the Sitemaps team, but you may have to wait for the techie stampede to subside.

[MikeD]

Sorry für den verspäteten Statusbericht - war mal kurz in der offline-Welt schauen was da so los ist... (sowas schon wieder leere Schaufenster mit 'zu vermieten' und neue Schnäppchenläden..... )

ok - zum thema:

1 Stunde nach anmeldung der Sitmap wurde sie von Google abgeholt, Status ist OK ( ) und alles weitere werden die Logs und Serps denk ich frühstens morgen bzw. ab übermorgen zeigen.

P.S.
mal schauen unter welchem Namen die Abholung erfolgte - ggf. gibts ja nen beta-bot - Meldung folgt

[Noki]

Hallo,

gerade für Blogs und Foren dürfte sich diese Sache positiv auswirken. Eine einfache Sitemap bei Foren eingesetzt dürfte die Suchergebnisse von Google deutlich beleben denn es gibt tausende von nicht optimierten Foren. Auch für CMS-Systeme dürfte sich eine solche Sache sehr schnell durchsetzen. Von Webmasterseite meiner Meinung nach eine tolle Sache. Eine erste Implementierung findet sich unter https://www.dictionary-directory.info/sitemap.xml - in den nächsten Tagen werde ich dort dann wohl noch ein LastModified einfügen, was gerade bei Webkatalogen eine tolle Sache sein sollte.

[MikeD]

hoi noki,

kann es sein dass du den xml-header vergessen hast?
Zeilenumbruch vor dem <urlset wär auch noch jut - mein firefox zumindest idendifiziert die seite leider nicht als xml seite

lastMod hb ich auch noch nicht drinn, da hatte ich bei der Projekterstellung nicht drann gedacht, dass ich das mal brauchen würde - aber was noch nicht ist, kann ja noch kommen. Zum anderen ist dort eher ein 'ständiger' und 'gehend' sowie 'kommender' Content drauf - also nichts was wirklich Änderungen erfährt. - Das wird dann bei der nächsten Seite Gewichtung finden - derzeit gehts erst mal drum: bringts was und wenn was

[Noki]

Hallo Mike,

habe gerade meine Fehler ausgebessert... Header ist gesetzt (XML-Formatierung jetzt auch im Firefox), Zeilenumbruch ist jetzt auch vorhanden, und die Tags stehen jetzt schön untereinander.

Zum Thema Lastmod: Ob ich das wirklich will ... Beim Dictionary Directory könnte ich mir das durchaus vorstellen und auch ohne weiteres hinzufügen, ich habe jedoch gerade durch das auf jeder Seite eingeblendete Datum eine sehr hohe crawlrate und will die eigentlich auch beibehalten. Ob sich diese durch eine ordentliche Sitemap mit alen Parametern noch beschleunigen lässt werde ich aber in jedem Fall austesten.

PS.: Google interessierte das mit der Formatierung usw. alles nicht ...

[Moddy]

>Von einer meiner Domains vagabundieren immer noch tausende
>von 404er Seiten mi Index.

Dafür gibt es wirklich keinen Grund.In die robots.txt
User-agent: *
Disallow: /alteseite1.shtml
Disallow: /oldpage2.php

schreiben, hochladen, bei
https://services.google.com:8882/urlcon ... tcmd=login
anmelden und URL der robots.txt angeben und nach 24 Stunden sind die Dinger weg.

Bringt dir keinen Bullshit traffic mehr zu seiten die du nicht mehr online hast, müllt dir deine Logs nicht mehr zu und erleichtert den Index sogar um einige tote Seiten.

Schonmal tausende Seiten in die Robots.txt geschrieben und tausende Seiten in die urlconsole eingeben?

[MikeD]

Update:

"Python-urllib/1.15" ... netter Name ... ist der Schlingel der sich der XML-Sitemap als erstes abholt.

"Googlebot/2.1" kam dann noch ein paar mal vorbei (wohl gemerkt auf der vorher nicht existenten XML-Sitemap und mit) zuletzt heute Nacht zu ungewohnter Zeit.

sitemap.php wurde mit zwei 66.249.65.er Adressen besucht
bot kam auf die Inhaltsseiten aus dem 66.249.64. +71er Block
(scheint allerdings ein normaler Besuch gewesen zu sein)
heute nacht wurde dann nochmal die Sitemap nachgeschaut.

noch keine Veränderung in den SERPS - noch keine der neuen Seiten enthalten.

@Tobias
Denke sie haben da nicht wirklich Wert darauf gelegt 100% XML-Dateien zu verlangen, sondern arbeiten mit etwas Toleranz. Wenn man die Anzahl der Möglichkeiten nimmt, die man incl. einer normalen txt hat, wollen die das ganze zumindest nicht unbedingt zum Flop werden lassen, sondern jeder 'Gattung' von Webmaster die Möglichkeit bieten, da wäre eine zu scharfe Fehlermeldung kontraproduktiv
Wollte dich auch nicht lehrmeistern war mir nur aufgefallen - mir hat Firefox schon bei mancher XML Datei dann auch gezeigt was ich für Sch... gebaut habe als er sie als solche erkannt hatte

[bull]

"Python-urllib/1.15" ... netter Name icon_smile.gif ... ist der Schlingel der sich der XML-Sitemap als erstes abholt.

Den hab ich nicht gesehen. Bei mir war nur
66.249.66.52 - - [03/Jun/2005:14:40:23 +0200] "GET /sitemap.xml.gz HTTP/1.1" 200 64745 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)" "-"