Guten Morgen,
ich habe eine Frage zu Crawler und den möglichen Problemen zu einer meiner kleinen Shopseites:
es gibt eine zufällige Auswahl an Produkten, die bei jedem Seitenaufruf am Ende des Hauptcontent einer jeden Seite dargestellt wird.
Jedes mal wenn man die Seite neu läd (bspw. via F5 oder revisit), ändert sich diese Liste. D.h. also im schlimmsten Fall kann es sein, dass man manche Produkte mehrmals hintereinander sieht, andere hingegen nur selten (oder vllt. auch gar nicht); hängt eben von der Zahlen-Verteilung des Zufallsgenerators ab.
eine Gesamtliste, mit allen Produkten, ist im "Gastbereich" (also ohne einloggen), nicht verfügbar - das heisst zusätzlich, dass man sich nahezu beliebig lange durchklicken kann, und immer irgendwelche Produkte sieht - man selbst aber keine Möglichkeit hat, sich alle Produkte bspw. alphabetisch anzeigen zu lassen.
Da ich keine Sitemap verwende, weiss der Crawler also nicht, wann Schluss ist, sozusagen.
Das ist also eine der typischen Crawler Traps.
Daher die Frage: wie wirkt sich das auf Google/co aus? Theoretisch könnte der Bot ja stunden damit zubringen, und sich von Seite zu Seite zu hangeln: so lange neue Produkte dabei auftauchen, wird er immer weiter machen. Wenn also die Anzahl der Produkte steigt, keine Sitemap vorhanden ist, kann es sein, dass sich der Bot unendlich lange durchhangeln müsste, da bei jeder neuen Seite immer neue Produkte angezeigt werden.
Archiv
