Google & Co spidern nur die Index-Seite???
Verfasst: 10.03.2004, 20:31
Hallo,
habe eine Frage:
Nachdem ich mir gerade Mescalero heruntergeladen habe, übrigens ein spitze Programm!! ... sehe ich dass Google und Co. lediglich die Index-Seite und die robots.txt Datei durchsuchen, woran liegt dass denn????
Bsp:
/robots.txt 8.3.04 um 10:32:42
/index.php 8.3.04 um 10:32:42
/robots.txt 9.3.04 um 03:39:42
/index.php 9.3.04 um 03:39:42
/robots.txt 10.3.04 um 09:58:00
/index.php 10.3.04 um 09:58:01
& die robots.txt-Datei stimmt doch soweit:
# robots.txt for https://www.unseredomain.com/
User-agent: *
Disallow:
Danke im Voraus & Grüße Alex
habe eine Frage:
Nachdem ich mir gerade Mescalero heruntergeladen habe, übrigens ein spitze Programm!! ... sehe ich dass Google und Co. lediglich die Index-Seite und die robots.txt Datei durchsuchen, woran liegt dass denn????
Bsp:
/robots.txt 8.3.04 um 10:32:42
/index.php 8.3.04 um 10:32:42
/robots.txt 9.3.04 um 03:39:42
/index.php 9.3.04 um 03:39:42
/robots.txt 10.3.04 um 09:58:00
/index.php 10.3.04 um 09:58:01
& die robots.txt-Datei stimmt doch soweit:
# robots.txt for https://www.unseredomain.com/
User-agent: *
Disallow:
Danke im Voraus & Grüße Alex
