Beitrag
von axelm » 16.02.2006, 16:53
Man ließt euch doch die FAQs richtig durch.
-Die URLs aus der Sitemap kommen in die normale parsing Queue ob der Bot eure URL nun über nen Link oder die Sitemap.xml findet, die kommen alle in die gleiche Liste.
- Wer das Original Python tool von google nutzt, gibt URL und Pfad auf Filesystem und Logs frei.
Anhand des Pfads+Last Modified Date und der Anzahl der Request im Log wird
Datei, Letzte Änderung und wichtigkeit im vergleich zu allen anderen Seiten der Site ermittelt wird, was nicht erfaßt werden soll, kann über config.xml bzw. robots.txt ausgesperrt werden.