Seite 1 von 2
Gibt es tools, die mir anzeigen, wann welcher bot crawlt?
Verfasst: 24.05.2007, 19:29
von smsaffaere
Hallo zusammen,
kennt einer ein tool, womit ich genau sehen kann, wann welcher Bot von welcher IP zugegriffen hat?
Danke für die Hilfe.
Verfasst:
von
Hochwertiger Linkaufbau bei ABAKUS:
- Google-konformer Linkaufbau
- nachhaltiges Ranking
- Linkbuilding Angebote zu fairen Preisen
- internationale Backlinks
Wir bieten
Beratung und
Umsetzung.
Jetzt anfragen:
0511 / 300325-0
Verfasst: 24.05.2007, 20:06
von Wirths Media
Ja, nennt sich Logfile....
Verfasst: 24.05.2007, 21:53
von heino
Funktioniert aber nur richtig mit seinem Komplementär: Hirn2.0
Verfasst: 24.05.2007, 21:55
von semtex
heino hat geschrieben:Funktioniert aber nur richtig mit seinem Komplementär: Hirn2.0
Das sind genau die richtigen Antworten, die sich ein neues Forenmitglied so wünscht.
Eigentlich jedes gute Counter oder Trackingssystem kann dieses Anhand einer Protokolldatei bzw. dem Logfile auswerten.
Es gibt dafür externe Dienste oder auch eigene Scripte die Du local auf Deinem Account installieren kannst.
Die Suche im hiesigen Forum hilft Dir bestimmt dabei weiter.
Verfasst: 25.05.2007, 00:28
von Gast
semtex hat geschrieben:heino hat geschrieben:Funktioniert aber nur richtig mit seinem Komplementär: Hirn2.0
Das sind genau die richtigen Antworten, die sich ein neues Forenmitglied so wünscht.
Eigentlich jedes gute Counter oder Trackingssystem kann dieses Anhand einer Protokolldatei bzw. dem Logfile auswerten.
Es gibt dafür externe Dienste oder auch eigene Scripte die Du local auf Deinem Account installieren kannst.
Die Suche im hiesigen Forum hilft Dir bestimmt dabei weiter.
Wichtige Gegenfrage!
Kann man mit Füßen laufen ?
So bestimmte Dinge sollten eigentlich mehr als selbstverständlich sein. Der Weg zurück auf Newbie Niveau ist halt immer so lang - muss man nicht gleich sauer aufstoßen.
Re: Gibt es tools, die mir anzeigen, wann welcher bot crawlt
Verfasst: 25.05.2007, 08:21
von Ezeee
smsaffaere hat geschrieben:Hallo zusammen,
kennt einer ein tool, womit ich genau sehen kann, wann welcher Bot von welcher IP zugegriffen hat?
Danke für die Hilfe.
Wir benutzen php:
Code: Alles auswählen
<?php
$trackurl = $_SERVER['PHP_SELF'] ;
$trackUserAgent =strtolower($_SERVER['HTTP_USER_AGENT']);
if (stristr($trackUserAgent ,"archiver")) {$trackrobot="Alexa";}
if (stristr($trackUserAgent ,"exabot")) {$trackrobot="Exalead";}
if (stristr($trackUserAgent ,"fast")) {$trackrobot="Fast";}
if (stristr($trackUserAgent ,"firefly")) {$trackrobot="Fireball";}
if (stristr($trackUserAgent ,"googlebot")) {$trackrobot="Google";}
if (stristr($trackUserAgent ,"msnbot")) {$trackrobot="MSN";}
if (stristr($trackUserAgent ,"Yahoo! Slurp")) {$trackrobot="Yahoo! Slurp";}
if (stristr($trackUserAgent ,"yahoo")) {$trackrobot="Yahoo";}
if (stristr($trackUserAgent ,"Ask Jeeves/Teoma")) {$trackrobot="Ask Jeeves/Teoma";}
if (stristr($trackUserAgent ,"jeeves")) {$trackrobot="Ask Jeeves";}
if (stristr($trackUserAgent ,"teoma")) {$trackrobot="Teoma";}
$trackdate = date('Y-m-d');
$tracktime = date('H:i:s');
$trackhost = $_SERVER['HTTP_HOST'];
$trackaddr = $_SERVER['REMOTE_ADDR'];
$referer = $_SERVER['HTTP_REFERER'];
if ($trackrobot != "") {
// Suchmaschinen //
$eingeloggt = "
trackrobot= $trackrobot
trackurl= $trackurl
trackdate= $trackdate
tracktime= $tracktime
trackhost= $trackhost
trackaddr= $trackaddr
";
mail ("deine@mail.de", "Der $trackrobot war da!", "$eingeloggt");
} ?>
Das in eine php-Datei und per include in jede Seite einbinden, und du bekommst eine Mail, die so aussieht:
Code: Alles auswählen
Betreff: Der google war da!
trackrobot= Google
trackurl= /verzeichnis/datei.html
trackdate= 2007-05-25
tracktime= 06:57:08
trackhost= www.deinedomain.de
trackaddr= 66.249.70.41
wir haben eine extra Mailadresse dafür eingerichtet, du musst sehen wie du das organisierst wenn es zuviel wird. du kannst die robotliste ergänzen oder bspw auch die ausgabe ändern, so dass bspw direkt in eine datenbank geschrieben wird.
Siehe auch
https://www.abakus-internet-marketing.d ... -1001.html
viele Grüße, Ezeee
Verfasst: 25.05.2007, 10:44
von scarim
Ich benutze Seit einiger Zeit mit wachsender Zufriedenheit dieses System:
https://www.crawltrack.fr/
haste ein tool, kannst alle seiten einpflegen & direkt ne übersicht + weitere details..
Verfasst: 25.05.2007, 14:17
von ole1210
Das ist ein Witz, oder?
Du lässt dir nicht wirklich immer eine Mail schicken wenn nen Bot irgendeine Unterseite besucht hat, oder?
Das ist doch absoluter Wahnsinn!!!
Oder du hast eine ganz kleine Seite und kaum Besuche.
Verfasst: 25.05.2007, 14:57
von marle
@Ezeee
wir haben allein von Google 15000 zugriffe täglich (auf 5 Domains verteilt)
da wär das Postfach schnell voll
Besten Dank
Verfasst: 02.06.2007, 11:32
von smsaffaere
Vielen Dank für die vielen comments, die ich leider erst jetzt sehe. Irgendwie krieg ich keine Info-Mail bei neuen Antworten auf meine threats.
Jedenfalls habe ich dann wohl ein Problem: php und mySQL werden für mich auf ewig ein Hindernis darstellen, da ich offenbar kein Coder bin.
Aber vielleicht kann ich mit dem anderen tool was anfangen ... ich bin gespannt.
Verfasst: 02.06.2007, 14:28
von Ehemalige Nutzer Z
wasn das für ein quatsch?
wenn ich ein bot wäre würd ich mir verarscht vorkommen...
Verfasst: 02.06.2007, 14:30
von Wirths Media
Es gab doch mal ein User online Script, würde ich mal nach googeln...
Verfasst: 03.06.2007, 17:57
von scarim
Jedenfalls habe ich dann wohl ein Problem: php und mySQL werden für mich auf ewig ein Hindernis darstellen, da ich offenbar kein Coder bin.
Schonmal die Installationsanleitung gelesen?
Ich würd mich an deiner Stelle aber erstmal mit anderen, wesentlicheren Dingen beschäftigen, als zu erfahren wann der GoogleBot kommt.
Verfasst: 04.06.2007, 19:31
von fi-ausbilden
Pack Google Analytics auf Deine Seite, da muss man nicht viel von Technik verstehen. Da kannst DU dann sehen, wann die Bot´s da waren.
Ich selber benutze AWStats und eine TYPO3-Extension...
Verfasst: 05.06.2007, 09:02
von Keks
Google Analytics wird meines Wissens nach nur über JavaScript in die Seiten eingebunden. Da die Bots in der Regel JavaScript nicht unterstützen werden diese dann nicht getrackt. Also hilft meiner Meinung nach Google Analytics nicht weiter um die Bot Bewegungen zu sehen
Aber ich nutze selber kein Analytics, von daher kann das jetzt auch falsch sein was ich hier schreibe. Vielleicht könnte das noch jemand bestätigen oder dementieren ?!?
mfG
Keks
