Änderungsdatum und Spider

Beitrag von **chio** » 05.06.2004, 13:38

Google weiß, ich hab gesucht....

Statische Seiten und das Änderungsdatum: Ich bin bisher immer davon ausgegangen, dass statische Seiten NICHT neu gespidert werden, wenn sich das vom Server gemeldete Datum nicht verändert hat.
Stimmt das?

Was aber, wenn sich zB die Startseite nie ändert aber die davon verlinkten Seiten? Spidert Google eigentlich von "vorne weg" durch die Site oder greift der Spider nach Lust und Laune und PageRank auf die Unterseiten zu?

lgcm

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **viggen** » 05.06.2004, 21:59

Also meine statischen Seiten werden fast täglich gespidert und ich ändere an den meisten gar nix, hängt wohl davon ab wieviele Links (und wie hoch der PR) auf die Seite zeigen und nicht nur ob sich was geändert hat.

Wenn also Links auf innere Seiten verweisen überspringt der Bot die Hauptseite in diesem Fall und schnappt sich die Seite (und analysiert in einem späteren Durchgang die robots.txt?)

mfg
viggen

Beitrag von **Scubi** » 05.06.2004, 22:31

Ich habe die erfahrung bei neuen seiten gemacht das der spider unkontrolliert von einer kategorie in die ander springt

Ich benutzer eine datei die mir per mail immer meldet welche dateien gespidert wurden.

Daraus geht eine echte sprunghaftigkeit vor....

Ich konnte auch keine einheitlichkeit feststellen nachdem motto...10 ateien aus der kategorie gespidert..ich gehe mal weiter in eine andere.

Der springt wie er will..mal sind es 5 seiten ..mal 24 mal 70...

Heute hat er sich 424 dateien geholt

Was mir aufgefallen ist...wenn msn dazwischen funkt..dann wird google weniger

Habe das gefühl....wenn googe merkt..es dauert länger zu spidern..dann zieht er sich zurück um geschwindigkeit zu sparen..

sicher bin ich mir nicht.

ist nur sehr auffällig das jedesmal wenn der msn kommt..nur noch ab und zu ne mail von google kommt

Was mir besonders aufgefallen ist....nach jedem update holt google sich ne menge...ich falle nachjedem update in den serps nach hinten..was sich dann wieder nach einigen tagen erholt

mir ist nur unklar ob es daran liegt das die leute am 1. des monats viel geld ausgeben..oder ob ich wirklich nicht mehr gefunden werde..denn laut meiner programme falle ich nicht wirklich nach hinten

gruß scubi

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Halli** » 05.06.2004, 23:28

Scubi hat geschrieben:Ich benutzer eine datei die mir per mail immer meldet welche dateien gespidert wurden.

Welches Skript benutzt Du denn? Ich weiss, hier gab es mal einen entsprechenden Thread, aber ich finde ihn nicht mehr ...

Beitrag von **blubb** » 05.06.2004, 23:39

@halli

https://www.abakus-internet-marketing.d ... ight-.html

ist es das was du suchst ?

Beitrag von **chio** » 06.06.2004, 11:30

Hallo!
Da muss ich blöd nachfragen - 304 und "If-Modified-Since". Was heißt "not modified" - das kann ja wohl nicht SO eine Zeitspanne sein.. (Halli, dein Lexikon ist recht praktisch....)

Kapiere ich das richtig, dass 304 NICHT gespidert wird, aber gleiches Änderungsdatum wie beim letzten mal spidern schon?
https://www.abakus-internet-marketing.d ... -5586.html

lgcm

Beitrag von **linux** » 06.06.2004, 12:41

304 ist genial wenn du viele seiten hast dann ist es ein muß!

wir schicken google einen 304 wenn die seite nicht verändert wurde seit seinen letzten besuch. If-Modified-Since ist also genial denn es spart bandbreite und das ist wie bei uns mit 100.000 seiten online wichtig.

von google selbst
Make sure your web server supports the If-Modified-Since HTTP header. This feature allows your web server to tell Google whether your content has changed since we last crawled your site. Supporting this feature saves you bandwidth and overhead.