Ihr Partner in Sachen SEO und Online Marketing
https://archiv.abakus-internet-marketing.de/foren/
https://archiv.abakus-internet-marketing.de/foren/viewtopic.php?f=3&t=24080
Vermutlich janerd hat geschrieben:und: müssen wir deswegen jetzt alle sterben?
Das H5N1-Virus ist inzwischen zur Googlegrippe mutiert, und verbreitet sich nun rasant über e-mails, Tauschbörsen und SEO-Foren 
und ich bin der Ansicht, daß G so gut wie alles verfolgt, das wie eine URL aussieht
.
wozu die arbeit ... wenn du nicht willst, dass die seiten gespidert werden, dann richte eine entsprechende robots-datei ein.ole1210 hat geschrieben:Habe auch die Erfahrung gemacht, das über kurz oder lang quasi jede Seite aus irgend einem Grund gespidert wird. Ganz egal, ob das nen Javascript, nen Imagemap, nen textlink oder ne Parameter-Url ist. Irgendwie findet fast alles den Weg in den Index. Zumindest das, was man nicht haben möchte
Habe mal ein Menü entwickelt, welches auf Grund seiner besonderen Bauweise zimlich Spidersicher ist. Damit kannst du diesem Problem aus dem Weg gehen:
Wenn du eine Möglichkeit findest eine robots.txt Datei zu erstellen, die vonn allen Robots befolgt wird, dann bist du ein reicher Mann!dann richte eine entsprechende robots-datei ein
ob ein bot mit dem namen xyz meine seiten spidert, obwohl ich ihn per robots.tx ausgeperrt habe ist mir ziemlich wurscht. der googlebot hält sich im normalfall dran.ole1210 hat geschrieben:Wenn du eine Möglichkeit findest eine robots.txt Datei zu erstellen, die vonn allen Robots befolgt wird, dann bist du ein reicher Mann!
Wenn du glaubst, das deine robots.txt von allen Robots befolgt wird, dann bist du ziemlich naiv.
Selbst google hält sich nur nach Tageslaune an die robots.txt.
es muss ja auch keine formulare absenden, es reicht ja wenn es die url kennt und diese einfach so besucht.marc75 hat geschrieben: urls in <form> tags folgt google nicht, es sendet auch keine formulare ab.
Ursache können die Pseudosumas und co. sein, die einfach alle urls auslesen und dann damit google gefüttert haben.
anderen ist es nicht egal - gibt spider die holen sich den inhalt deiner seite um ihn woanders darzustellen, natürlich nach allen regeln der kunst optimiert se-freundlich optimiert und mindestens 3 adsense-blocks im und um den text angebracht. siehe z.b. myengines.net, und das ergebniss dieser software kann auf https://www.ecca.gr/beratung/10/Banken/anz_Bank.html bewundert werden. wobei es hierbei aber noch schlimmere seiten gibt...matin hat geschrieben: ob ein bot mit dem namen xyz meine seiten spidert, obwohl ich ihn per robots.tx ausgeperrt habe ist mir ziemlich wurscht. der googlebot hält sich im normalfall dran.
wie schon geschrieben, google folgt nur href und srces muss ja auch keine formulare absenden, es reicht ja wenn es die url kennt und diese einfach so besucht.
meine test.php war auch indiziert, obwohl da ganz sicher kein link darauf verweisst...
wenn ihr nicht wollt das sumas eure Seiten spidern, macht ein loginWenn du glaubst, das deine robots.txt von allen Robots befolgt wird, dann bist du ziemlich naiv.