Google Sitemaps

[Ranking-Check]

Nun ist ja Python, dass man für den sitmape generator braucht nicht auf jedem webserver. Kennt jmd ein passendes Perl oder PHP Script

[linux]

so was in der art bischen umscheiben dann gehts

https://blog.reys.be/

hab auch noch so was in perl

aus der google sitemap group

https://groups-beta.google.com/group/go ... 6217472fe9

gruß

linux

[Yel nats]

Kann mir jemand erklären wie ich die xml am einfachsten schreibe, ich verstehe nur Bahnhof...mir ist klar was eine XML Datei ist, aber ich trage wohl kaum z.B. vom Forum 44.000 URLS von Hand ein...

Das wüsste ich auch mal gern

Habe derzeit:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="https://www.google.com/schemas/sitemap/0.84">
<url>
<loc>https://www.test.de</loc>
<lastmod>2005-06-06</lastmod>
<changefreq>daily</changefreq>
<priority>1.0</priority>
</url>

Mir ist aber nun noch nicht ganz klar ob es da jetzt automatisch alle html Flies nimmt...

Yel Nats

[tingting]

habe hier etwas für php gefunden.
--> https://enarion.net/google/
es scheint so als das script die statischen datein durchsucht und in eine xml datei schreibt.

[Fridaynite]

habe hier etwas für php gefunden.
--> https://enarion.net/google/
es scheint so als das script die statischen datein durchsucht und in eine xml datei schreibt.

Wie sieht das ganze denn bei dynamischen Seiten aus?
Wird da aus der Datenbank rausgelesen?

[tingting]

das script ist nicht von mir. aus der datenbank auslesen wird schwierig sein ein script für alle zu erstellen.
jede hat für seine homepage doch eine andere datenbank struktur.
ich habe zwar eine klasse programmiert, die als input ein array mit den benötigten werten hat. jeder eintrag wäre dann eine datei....
so ist mir der dateninput egal... ob dateisystem oder von der datenbank...
das script ist nicht sehr groß, ist aber an eine php libary gebunden und die libary ist sehr groß....
aber so eine klasse ist doch relative einfach...

--> kleiner codeklau:

foreach ($a as $file) {
?>
<url>
<loc><? echo utf8_encode($website.$file); ?></loc>
<lastmod><? echo utf8_encode($last_modification);?></lastmod>
<changefreq><? echo utf8_encode($changefreq); ?></changefreq>
<priority><? echo utf8_encode($priority); ?></priority>
</url>
<?
}

[Jansen]

Hallo,

ich habe übers Wochenende ähnliche Beobachtungen wie linux gemacht:

Code: Alles auswählen

66.249.66.116 - - [03/Jun/2005:09:27:30 +0200] "HEAD /sitemap.xml HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [03/Jun/2005:09:30:21 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [03/Jun/2005:21:30:31 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [03/Jun/2005:21:35:33 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [04/Jun/2005:09:35:36 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [04/Jun/2005:09:40:38 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [04/Jun/2005:21:40:50 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [04/Jun/2005:21:45:54 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [05/Jun/2005:09:46:00 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [05/Jun/2005:09:51:02 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [05/Jun/2005:21:51:10 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [05/Jun/2005:21:56:12 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [06/Jun/2005:07:21:30 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [06/Jun/2005:09:56:16 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.116 - - [06/Jun/2005:10:01:18 +0200] "GET /sitemap.xml HTTP/1.1" 200 153181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Google scheint in die ganzen Sitemaps ziemlich verknallt zu sein, aber weiter darauf eingegangen ist der Googlebot nicht. Es wurden 12 Unterseiten von der Site gespidert, die teils in der Sitemap sind, teils nicht.

Ich vermute also, daß der Inhalt der Sitemap (noch) egal ist, bzw. erst beim nächsten Deep-Crawl zum tragen kommt.

Grüße,
Jan

P.S.: Ach ja: Bis jetzt sind auch noch keine Seiten aus dem Index geflogen, die nicht in der Sitemap sind...

[linux]

jupp kommt oft bei mir von der ip 66.249.66.193

lmit den php/perl/python scripten geht das leicht

wenn man z.b wie ich das access.log nimmt muß das xml in iso-15 erstellt werden nicht utf-8 außer das access log ist in utf-8.

ich werde bald mal ein script in php bauen das dann die lastmod aus der db holt und die update feq. dazuschreibt.

ich werde es dann posten .

gruß

linux

[MikeD]

Kann bisher 2 Sachen vermerken:

a) Anmeldung per Direktaufruf:
Abholung erfolgte 1x (einmal) - hält sich also an das : 'sag mir wenn ich schauen soll'

b) Anmeldung über das google-Konto:
bot kommt täglich vorbei - holt sich meistens mit 5 Minuten Abstand die Sitemap und ist wieder weg

zu b) - ein relevanter Feldtest dürfte für Google nur interessant sein mit einer gewissen Anzahl von sitemap-Dateien um die Laufzeiten etc. zu sehen und ob filter, algos etc. so arbeiten wie sie sollen
denke also derzeit ist das große Sammeln angesagt, bei dem die Update-Mechanismen kontrolliert werden, bevor das nächste Script seine Arbeit aufnimmt.

[Luki]

b) Anmeldung über das google-Konto:
bot kommt täglich vorbei - holt sich meistens mit 5 Minuten Abstand die Sitemap und ist wieder weg

hab jetzt auch eine solch dynamische Datei, allerdings wie bringe ich Google bei, das es täglich einmal vorbei kommt um die Datei zu aktualisieren? (ohne mich in diesen Sitemap Center einzuloggen)

[gsyi]

Kann mir jemand erklären wie ich die xml am einfachsten schreibe, ich verstehe nur Bahnhof...mir ist klar was eine XML Datei ist, aber ich trage wohl kaum z.B. vom Forum 44.000 URLS von Hand ein...

Das wüsste ich auch mal gern

Habe derzeit:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="https://www.google.com/schemas/sitemap/0.84">
<url>
<loc>https://www.test.de</loc>
<lastmod>2005-06-06</lastmod>
<changefreq>daily</changefreq>
<priority>1.0</priority>
</url>

Mir ist aber nun noch nicht ganz klar ob es da jetzt automatisch alle html Flies nimmt...

Yel Nats

fehlt zum Schluss noch ein </urlset>

[magadoo]

Ich habe mir mal eine Sitemap mit php für mein phpBB Forum (allerdings erstmal nur alle Hauptthreads) un alle php-Dateien im Hauptordner generieren lassen. Wegen mod_rewrite gebe ich die URLs dann als HTML-Dateien an:
https://www.geld-marketing.de/google-sitemap.php

Zusätzlich habe ich noch das lastmod-Tag eingebaut (aus topic_date und letzter Änderung meiner Dateien), die anderen werden bei Bedarf noch folgen. Den Code dazu gibts übrigens hier:
https://www.geld-marketing.de/forum/ftopic51.html

[easore]

hab mich auch mal an der sitemap versucht...allerdings fluppt das irgendwie noch nicht.

ich habe die daten (1x gestern und 1x heute) manuell an google übermittelt. sprich über:

https://www.google.com/webmasters/sitem ... itemap=URL
(auch jedes mal einen Status 200 OK bekommen)

leider habe ich in den logs noch keine zugriff auf meine sitemap feststellen können, das gibt mir ein wenig zu denken da es ja bei einigen hier im forum ziemlich schnell ging bis der bot kam...

[Kralle]

Auch auf die Gefahr hin, mich als DAU zu outen, aber so ganz klar ist mir Google-Sitemaps noch nicht

Verstehe ich es richtig, daß ich die XML-Datei auch "manuell" erstellen kann, und Python dafür nicht zwingend benötige?

Welche Dateitypen sollten/dürfen darin aufgeführt sein? HTML ist klar, aber auf der Google-eigenen Sitemap sind auch noch Bilddateien aufgeführt. Macht das Sinn? Für die Bildersuche? Würde es auch Sinn machen, Multimediadateien aufzulisten?

Fragen über Fragen...

[stalker]

ja du kannst die datei auch per hand oder mit einem anderen programm erstellen

die nötige doku gibt es hier