Google & Co spidern nur die Index-Seite???

Hallo,

habe eine Frage:
Nachdem ich mir gerade Mescalero heruntergeladen habe, übrigens ein spitze Programm!! ... sehe ich dass Google und Co. lediglich die Index-Seite und die robots.txt Datei durchsuchen, woran liegt dass denn????

Bsp:
/robots.txt 8.3.04 um 10:32:42
/index.php 8.3.04 um 10:32:42
/robots.txt 9.3.04 um 03:39:42
/index.php 9.3.04 um 03:39:42
/robots.txt 10.3.04 um 09:58:00
/index.php 10.3.04 um 09:58:01


& die robots.txt-Datei stimmt doch soweit:
# robots.txt for https://www.unseredomain.com/
User-agent: *
Disallow:

Danke im Voraus & Grüße Alex

Nun ja - Google reisst sich meist nicht darum, Deine Seiten aufzunehmen.

Abhängig vom Pagerank werden die Unterseiten unterschiedlich schnell aufgenommen - Du kannst also die Aufnahme beschleunigen, indem Du einen strategischen Linktausch eingehst, oder Links von Seiten mit hohen Pageranks auf Deine Seite hinzukaufst. Der Pagerank Deiner Seite wird sich erhöhen und Google spidert dann auch die Unterseiten, Unter-Unterseiten etc. - je nachdem, wie hoch Dein Pagerank eben ist ... geht das schneller, oder auch langsamer.

Wenn Deine Webseite eine gewisse Aktualität über eine gewisse Zeitspanne an den Tag legt und die Suchmaschinenrobots dies "bemerken", so wird Deine Seite in einigen Suchmaschinen auch schneller aufgenommen und die Unterseiten schneller indiziert.

Aktualität ist eben wichtig - und vor allem : nur durch ein gewisses zeitliches Engagement zu verwirklichen - und das wissen eben auch die Suchmaschinenrobots ...

Ganz nebenbei - dieses Forum hat auch eine Such-Funktion - Du wirst in der Suche sicherlich eine ganze Menge SEHR ausführlicher Threats finden, die sich mit Google und Co beschäftigen ... lies' Dich einfach mal durch

Ist die robots.txt eigentlich genau so, wie Du sie gepostet hast - ohne jeglichen Inhalt ??? Falls ja - weshalb benutzt Du diese dann ???

Das mit einer höheren Aktulaität auch mehr gespidert wird bezweifele ich mal. Auf meinem Forum gibt es täglich über 1.000 Beiträge (kann man wohl von Aktualität sprechen) und trotzdem traut sich der GoogleBot nur spärlich auf die Unterseiten.