Damit kannst du dem Bot sagen was er Crawlen soll und was nicht, Nur wenn er sich daran hält. Das oben erwähnte "Sleep" scheint ja Folgen zu haben, "delay" wohl nicht bei jedem Bot. Wenn ich aber die IP sperre und selbst das keinen Einfluß auf die Anzahl der Aufrufe hat, dann fi...
7000 Seiten am Tag mögen für einen Server lächerlich sein. 50.000 pro Account beim Shared Hosting sind aber sicher kein Spaß mehr. Vor allem, wenn die Dateiaufrufe keinen Sinn ergeben und scheinbar nur irgendwelche Funktionen abgearbeitet werden, koste es was es wolle. Ich habe dem Googlebot jetzt v...
Sorry, daß die Antwort so lange gedauert hat. Ich habe meine Sachen bei mehreren Firmen untergebracht, Risikostreuung gewissermaßen. Mit 1blu bin ich bisher zufrieden, habe die Firma bisher aber auch noch nicht strapaziert. In den Problemfall war eine andere große Firma involviert. Nachdem die Warte...
Um die sorge ich mich auch und habe schon die Konsequenz gezogen - ein weiterer Umzug scheint ja leider unvermeidlich, nachdem ein Hinweis an die Firma nicht wirklich Fortschritt gebracht hat Die Themen müssen nicht gleich am nächsten Tag im Index stehen, mit der Aktualität bin ich eigentlich bisher...
Ich bin vor einigen Wochen wegen Betriebseinstellung notgedrungen mit einem Forum zu einer anderen Firma umgezogen. Dort gab es dann wider Erwarten zum Teil massive Wartezeiten mit Datenbankaufrufen. Seitenaufrufe können schon mal 10 oder 20 Sekunden dauern, die konkrete Wartezeit schwankt erheblich...
@ mgutt Die 404-Umleitung hatte ich schon drin, allerdings läuft die auf einen anderen Inhalt als die "regulären" Umleitungen. @ Alpinist Danke für die Links - das hat mich weitergebracht. Bin mehr mit dem Inhalt der Seiten beschäftigt als mit der Technik dahinter - da entgeht einem schon ...
Danke zwar - doch ich habe mir schon enige Dutzend Threads zum Thema durchgelesen. Es scheiterte alles daran, daß stets von .html-(Unter)seiten auf die entsprechenden .php-(Unter)Seiten verlinkt wurde. Das ging ins Leere, weil sich sowohl Struktur als auch Seitennamen geändert haben. Daher war ja me...
Kann man per .htaccess oder wie auch immer (fast) alle alten .html-Seiten einer Site auf eine einzige neue .php-Seite in einem Unterverzeichnis der gleichen - auf .php umgestellten und neustrukturierten - Site umleiten, ohne für jede einzelne Seite eine eigene Umleitung einzurichten zu müssen? Am ei...
Die klauende Seite ist zwar die eines Gewerbetreibenden, aber nur Teil eines einfachen Standard-Auftritts von lediglich 3 Seiten (Index - PageRank 2, Impressum PageRank 1, geklaute Seite - PageRank 0) mit keinerlei Werbung drauf. Die geklaute Seite hat bei mir einen PageRank von 1. Die toten Links z...
Mir wurde eine Seite, die im wesentlichen nur aus einer Tabelle mit mehr als 2000 Zellen an Daten besteht, geklaut und nach zwei kleinen Modifikationen ins Net gestellt. In der Tabelle sind gut 100 Links auf ursprünglich interne Seiten enthalten, die bei der geklauten Version allesamt ins Leere lauf...