Hallo, mir ist aufgefallen, dass Google bei einem Projekt die Domin über https gespidert hat und nur wenig über http - die SSL_Domain muss aber im gleichen Root, wie die "normale" Domain bleiben. Wie kann ich es jetzt verhindert, dass die Robots nicht die https, sondern ausschliesslich die...
Hallo, Du hättest Dir wenigstens die Mühe der Übersetzung machen können. Und wenn ich Roboter schreibe, dann meine ich auch Roboter und keinen (Ro)bot - es geht um automatisierte Interaktion, die man oft auch im Bereich der Software-Tests verwendet - das hat rein gar nichts mit einem Spider oder ähn...
etwas genau gesagt ist das ein Perl-Modul mit dem Roboter programmieren kann. Das ist also nicht spezifisches, sondern ein Perl-Script von wem auch immer.
Hallo, die machen nichts anderes, als an ein Script auf deren die aufgerufene URL und den zugehörigen Referer zu übermitteln, ich schätze zu log-Zwecken. Es muss ja auch nicht gleich schlecht sein, wenn man erstmal Daten sammelt und dann ein Konzept erstellt und nicht voreilige Änderungen macht - oh...
der Ansatz ist gut, aber ist euch klar, dass es alleine in USA 150.000 anonyme Proxies gibt. Ich denke jeder sollte für seine Webseite die bösen Buben filtern, aber ich denke nicht, dass man da im "kleinen Rahmen" eine sinnvolle Datenbank hinbekommen wird.
Hallo, ich denke das gibt es keine "Regel" - Du solltest nur drauf achten, dass die URLs zu künstlich wirken. Und mehr 3-4 Ebenen sollten es auch nicht, aber ob jetzt ein File im root 70 Zeichen hat oder ein Pfad mit 4 Ebenen 70 Zeichen hat, ich denke nicht, dass das viel ausmacht. Fünf an...