Seite 1 von 2
googlebot legt Server lahm ?
Verfasst: 09.06.2005, 08:24
von emmis
Hallo,
gibt es eine Möglichkeit dem googlebot zu sagen er soll nur eine bestimmte Menge an Seiten spidern oder das er die Seite nur alle 5 Tage neu spidert?
Wie oft der bot kommt weiß ich nicht genau aber von 23-8 Uhr macht er ganze arbeit und das bis an die grenzen meines Servers.
Verfasst:
von
Content Erstellung von
ABAKUS Internet Marketing
Ihre Vorteile:
- einzigartige Texte
- suchmaschinenoptimierte Inhalte
- eine sinnvolle Content-Strategie
- Beratung und Umsetzung
Jetzt anfragen:
0511 / 300325-0
googlebot legt Server lahm ?
Verfasst: 09.06.2005, 08:39
von Snort
Was für ein server hast du den?
bzw was für ne kleine leitung?
Fände es äuserst komich wenn der server durch den Google Bot überlastet!
Verfasst: 09.06.2005, 08:42
von manuelfu
Rein praktisch kenne ich das Phänomen der übermäßigen Server-Belastung durch den Googlebot nur dann, wenn Fehler seitens der Verlinkung (z.B. Endlos-Schleifen) aufgetreten sind.
Kannst Du derartige Faktoren definitiv ausschließen ?
Ist es ganz sicher der Googlebot ?
Grüße,
Manuel
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
googlebot legt Server lahm ?
Verfasst: 09.06.2005, 08:44
von ts77
Wieviele req/s laufen denn da in der Nacht auf?
Ich habe selten mal über 2 req/s und das sollte jeder Server schaffen.
Verfasst: 09.06.2005, 08:45
von emmis
hi, naja der Leistungsfähigste Server ist es wohl nicht aber ich will auch nicht auf einen größeren wechseln.
Habe einen "Exclusiv-Server von Puretec" da es den aber nicht mehr im Angebot gibt weiß ich nicht was er für eine Leistung hat.
Auch habe ich google untersagt meine Seiten in den google-cache aufzunehmen, ob es schon daran liegt? Das kann ich mir eigendlich nicht vorstellen da er ja trotzdem meine Seiten holen muß und vergleichen.
Da ich es nicht loggen lasse und nur in google gelistet bin kann es nur der bot sein. Ich schätze 10.000 - 15.000 mal in 2 Stunden greift er zu. Das erkenne ich an meinem cache.
googlebot legt Server lahm ?
Verfasst: 09.06.2005, 09:06
von linux
hm nur bei google gelistet wie machst denn das? msnbot yahoobot wissen sicher auch daß es dich gibt. 100000-15000 in 2 stunden muß die kiste locker aushalten das packt ja ein celeron mit 256 locker, ist die kiste auf windoof? ein linux rechner kann z.b locker 300 req pro sek. stemmen wenn der apache gut eingestellt ist
gruß
linux
googlebot legt Server lahm ?
Verfasst: 09.06.2005, 09:17
von marc75
schau mal in die logs ob es nicht doch der msnbot ist, der hat früher schon so einige Seiten lahmgelegt.
googlebot legt Server lahm ?
Verfasst: 09.06.2005, 09:23
von emmis
sorry, aber ich habe keine Logs, ich werde mir mal ein kleines Script schreiben welches mir die Besucheranzahl der Bots zählt, kann dann morgen etwas genaueres sagen.
googlebot legt Server lahm ?
Verfasst: 09.06.2005, 09:24
von ts77
keine access-logs???? wow
googlebot legt Server lahm ?
Verfasst: 09.06.2005, 09:26
von bull
sorry, aber ich habe keine Logs
Selbst der Billigtarif von 1&1 für zweineunundneunzig hat Echtzeit-Apache-Logs. Vielleicht schaust Du lieber noch einmal nach.
googlebot legt Server lahm ?
Verfasst: 09.06.2005, 09:29
von linux
nochmal egal wie ein bot hämmert der server darf NICHT down gehen. normalerweise haste ne 100 M/bits Anbindung der apache schafft das
Creating 32 session mutexes based on 150 max processes das sollte reichen 32x150
hast ssh dann mache mal bitte den top befehl unter linux der zeigt an was da so am server zieht,
falls du ne mysql hast wird die bei manchen linux systemen nicht angezeigt, sprich wenn die usage auf 90% und kein prozess dazu auszumachen ist dann ist es die mysql
gruß
linux
googlebot legt Server lahm ?
Verfasst: 09.06.2005, 10:43
von emmis
naja ok die Logs bei 1&1 kann ich nicht finden, ich logge jetzt mal selbst die größeren Bots mit, so wie es im Moment ausschaut ist das Problem inktomi : if (stristr($trackUserAgent ,"slurp")
@linux
Das ist schon wieder zu hoch für mich, ändern kann ich am apache nix, es ist kein root Server aber mysql hängt mit dran.
Es wird wohl an dem kompletten Script liegen, es wird zuviel abgefragt und Seiten geladen das schon wenige Bots ausreichen den Server in die Knie zu zwingen.
Verfasst: 09.06.2005, 12:34
von marc75
bist bei 1und1 ?
dann nimm mal folgenden code
Code: Alles auswählen
<?php
error_reporting(E_ALL);
if (empty($file)) $file= 'index.html';
// traffic.html is actually a directory
if ('traffic.html' == $file) $file= 'traffic.html/index.html';
function _basename($str) {
return preg_replace(array('=\.{2,}=', '=/+='), array('', '/'), $str);
}
function _linkcb($matches) {
switch (strtolower($matches[1])) {
case 'src':
return 'src="'.basename($GLOBALS['PHP_SELF']).'?img='.urlencode($matches[2]).'"';
case 'href':
if (preg_match('=^(ht|f)tps?://=', $matches[2])) {
return 'href="'.$matches[2].'" target="_external"';
}
return sprintf(
'href="%s?file=%s/%s"',
basename($GLOBALS['PHP_SELF']),
dirname($GLOBALS['file']),
str_replace('%23', '#', urlencode($matches[2]))
);
}
return FALSE;
}
// Workaround for domains not connected to ~/
$DOCUMENT_ROOT= preg_replace('=^([/a-z0-9]+/htdocs/).*$=','\1',getenv('DOCUMENT_ROOT'));
// Handle images
if (isset($img)) {
header('Content-type: image/gif');
switch (substr($img, 0, 7)) {
case '/spicon':
$uri= 'http://'.getenv('HTTP_HOST').'/spicons/'.basename($img);
break;
case 'http://':
$uri= $img;
break;
default:
$uri= $DOCUMENT_ROOT.'/logs/'._basename($img);
}
readfile($uri);
exit;
}
// Do some sanity checks
$file= _basename($file);
$filename= $DOCUMENT_ROOT.'/logs/'.$file;
if (is_dir($filename) || !file_exists($filename)) {
header("Status: 404 Not Found");
echo "<h1>File not found</h1><p>The request file {$filename} could not be found</p>";
exit;
}
// Parse HTML
$content= implode('', file($filename));
$content= preg_replace_callback(
'/(src|href) ?= ?["\']([^#][^"\']*)["\']/iU',
'_linkcb',
$content
);
echo $content;
echo '<hr/>';
// show_source(basename($PHP_SELF));
?>
füge es in eine leere datei ein und nenne die mal logs.php, einfach ins root kopieren und aufrufen.
googlebot legt Server lahm ?
Verfasst: 09.06.2005, 13:12
von Fridaynite
Es wird wohl an dem kompletten Script liegen, es wird zuviel abgefragt und Seiten geladen das schon wenige Bots ausreichen den Server in die Knie zu zwingen.
Das Problem habe ich auch bei einem bestimmten Server - immer wenn die Bots da sind, geht die db in die Knie - nicht der Apache
googlebot legt Server lahm ?
Verfasst: 09.06.2005, 13:16
von Chris2005
Da gibt es doch einen Zusatz für die robots.txt . Crawl-Delay heisst das glaube ich.
Allerdings wird das wohl nur von Yahoo! und msn unterstützt.
