Crawler Alert

Beitrag von **viggen** » 23.10.2003, 18:10

Bei diesem englischsprachigem Service kann man sich gratis anmelden, dann bekommt man einen kurzen Code, diesen dann in die Seite einfügen, und man wird mittels Email benachrichtigt wann ein Suchmaschinen-Robot die Seite besucht hat.

https://www.crawler-alert.com/

von **Anzeige von ABAKUS** »

Beitrag von **CMA** » 23.10.2003, 18:17

Den Dienst gibt es zwar schon eine Weile soweit ich weiß, ist aber ein tolles Tool welches flott informiert, somit verpasst man nix.

Beitrag von **viggen** » 23.10.2003, 18:21

hmm laut eigenem Pressebericht gibt es den erst seit heute

aber hautpsache er funktioniert...

Beitrag von **regeurk78** » 23.10.2003, 20:08

Gibts schon ein paar Wochen. Habs im SEO-Chat gelesen.

Beitrag von **bugscout** » 24.10.2003, 23:33

moin moin,

so gehts auch

Code: Alles auswählen

<?
$url = $_SERVER&#91;'PHP_SELF'&#93; ;
if &#40;$_SERVER&#91;'QUERY_STRING'&#93;!=''&#41; &#123;$url="$url?".$_SERVER&#91;'QUERY_STRING'&#93;;&#125;

$UserAgent =strtolower&#40;$_SERVER&#91;'HTTP_USER_AGENT'&#93;&#41;;
if &#40;stristr&#40;$UserAgent ,"googlebot"&#41;&#41; &#123;$robot="Google";&#125;
if &#40;stristr&#40;$UserAgent ,"voilabot"&#41;&#41; &#123;$robot="Voila";&#125;
if &#40;stristr&#40;$UserAgent ,"slurp"&#41;&#41; &#123;$robot="Inktomi";&#125;
if &#40;stristr&#40;$UserAgent ,"fast"&#41;&#41; &#123;$robot="Fast";&#125;
if &#40;stristr&#40;$UserAgent ,"teoma"&#41;&#41; &#123;$robot="Ask Jeeves - Teoma";&#125;
if &#40;stristr&#40;$UserAgent ,"exabot"&#41;&#41; &#123;$robot="Exalead";&#125;
if &#40;stristr&#40;$UserAgent ,"scooter"&#41;&#41; &#123;$robot="Altavista";&#125;
if &#40;stristr&#40;$UserAgent ,"zyborg"&#41;&#41; &#123;$robot="Wisenut";&#125;
if &#40;stristr&#40;$UserAgent ,"archiver"&#41;&#41; &#123;$robot="Alexa";&#125;
if &#40;stristr&#40;$UserAgent ,"mirago"&#41;&#41; &#123;$robot="Mirago";&#125;

if &#40;$robot != ""&#41;
&#123;
  $date = date&#40;'Y-m-d H&#58;i&#58;s'&#41;;
  $host = $_SERVER&#91;'HTTP_HOST'&#93;;
  $addr = $_SERVER&#91;'REMOTE_ADDR'&#93;; 
  $body = " ".$robot." hat am ".$date."\n folgende URL besucht ".$host.$url."\n\n remote_adress = ".$addr;
    
  mail&#40;'Adresse@meineDomain.de',$robot.' war da',$body&#41;;
  
&#125;

?>

da muss noch die emailadresse geändert und das ganze als
tracker.php abgespeichert werden. in die zu kontrollierende
datei kommt

Code: Alles auswählen

<?php

include&#40;$DOCUMENT_ROOT.'/tracker.php'&#41;;

?>

hat den vorteil, dass ich nicht von einem zweiten server abhängig bin
, dass ich auch alle möglichen anderen crawler aufnehmen kann
und ich sehe schon im subject welcher crawler da war.

muss nur kontrolliert werden, ob die ip-adresse auch stimmt, weil die spassvögel mit googlebot als kennung auch mitgezählt werden.

grüsse

Beitrag von **regeurk78** » 25.10.2003, 10:45

Da bekommt man aber tausende Mails

Ich schreib das einfach in eine Text-Datei, die ich mir dann per FTP runterlade, kann man natürlich auch in eine Datenbank schreiben

Code: Alles auswählen

<?php
		$suma&#91;&#93; = 'Googlebot';
		$suma&#91;&#93; = 'MSN';
		$suma&#91;&#93; = 'Scooter';
		$suma&#91;&#93; = 'Fast';
		$suma&#91;&#93; = 'Slurp';
		$suma&#91;&#93; = 'Firefly';
		$suma&#91;&#93; = 'Mirago';
		$suma&#91;&#93; = 'Heinrich';
		$suma&#91;&#93; = 'Ask Jeeves/Teoma';
		$suma&#91;&#93; = 'Overture';
		$suma&#91;&#93; = 'Grub';

if &#40; !$_SERVER&#91;'QUERY_STRING'&#93; &#41;
&#123;
  $file = "http&#58;//www.domain.tld" . $PHP_SELF;
&#125;
else
&#123;
  $file = "http&#58;//www.domain.tld" . $PHP_SELF . "?" . $_SERVER&#91;'QUERY_STRING'&#93;;
&#125;

	$datum = date&#40;"d.m.Y"&#41;;
	$zeit = date&#40;"H&#58;i&#58;s"&#41;;
	$ip = getenv&#40;"REMOTE_ADDR"&#41;;
	$browser = getenv&#40;"HTTP_USER_AGENT"&#41;;
        $dir = dirname&#40;"$PHP_SELF"&#41;;
        $dateiname = "dateiname.txt";

	for &#40; $i = 0; $i < count &#40;$suma&#41;; $i++ &#41; 
	&#123;
		if &#40; stristr&#40;$HTTP_USER_AGENT, $suma&#91;$i&#93;&#41; &#41;
		&#123;
			$fp = fopen&#40;$dateiname,"a+"&#41;;
			fputs&#40;$fp,"$datum\t$zeit\t$ip\t$browser\t$file\n"&#41;;
			fclose&#40;$fp&#41;;
		&#125;
	&#125;
?>

Man kann dann auch beliebig viele Bots hinzufügen