Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Gibt es tools, die mir anzeigen, wann welcher bot crawlt?

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
smsaffaere
PostRank 1
PostRank 1
Beiträge: 18
Registriert: 23.05.2007, 20:44

Beitrag von smsaffaere » 24.05.2007, 19:29

Hallo zusammen,

kennt einer ein tool, womit ich genau sehen kann, wann welcher Bot von welcher IP zugegriffen hat?

Danke für die Hilfe.

Anzeige von ABAKUS

von Anzeige von ABAKUS »


Hochwertiger Linkaufbau bei ABAKUS:
  • Google-konformer Linkaufbau
  • nachhaltiges Ranking
  • Linkbuilding Angebote zu fairen Preisen
  • internationale Backlinks
Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Wirths Media
PostRank 9
PostRank 9
Beiträge: 2050
Registriert: 20.09.2004, 20:25

Beitrag von Wirths Media » 24.05.2007, 20:06

Ja, nennt sich Logfile....

heino
PostRank 8
PostRank 8
Beiträge: 833
Registriert: 21.09.2006, 13:42

Beitrag von heino » 24.05.2007, 21:53

Funktioniert aber nur richtig mit seinem Komplementär: Hirn2.0

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


semtex
PostRank 6
PostRank 6
Beiträge: 381
Registriert: 25.04.2007, 22:50

Beitrag von semtex » 24.05.2007, 21:55

heino hat geschrieben:Funktioniert aber nur richtig mit seinem Komplementär: Hirn2.0
Das sind genau die richtigen Antworten, die sich ein neues Forenmitglied so wünscht. :idea:


Eigentlich jedes gute Counter oder Trackingssystem kann dieses Anhand einer Protokolldatei bzw. dem Logfile auswerten.
Es gibt dafür externe Dienste oder auch eigene Scripte die Du local auf Deinem Account installieren kannst.
Die Suche im hiesigen Forum hilft Dir bestimmt dabei weiter.

Anonymous

Beitrag von Anonymous » 25.05.2007, 00:28

semtex hat geschrieben:
heino hat geschrieben:Funktioniert aber nur richtig mit seinem Komplementär: Hirn2.0
Das sind genau die richtigen Antworten, die sich ein neues Forenmitglied so wünscht. :idea:


Eigentlich jedes gute Counter oder Trackingssystem kann dieses Anhand einer Protokolldatei bzw. dem Logfile auswerten.
Es gibt dafür externe Dienste oder auch eigene Scripte die Du local auf Deinem Account installieren kannst.
Die Suche im hiesigen Forum hilft Dir bestimmt dabei weiter.
Wichtige Gegenfrage!
Kann man mit Füßen laufen ?

So bestimmte Dinge sollten eigentlich mehr als selbstverständlich sein. Der Weg zurück auf Newbie Niveau ist halt immer so lang - muss man nicht gleich sauer aufstoßen.

Ezeee
PostRank 3
PostRank 3
Beiträge: 73
Registriert: 28.09.2004, 15:35

Beitrag von Ezeee » 25.05.2007, 08:21

smsaffaere hat geschrieben:Hallo zusammen,

kennt einer ein tool, womit ich genau sehen kann, wann welcher Bot von welcher IP zugegriffen hat?

Danke für die Hilfe.
Wir benutzen php:

Code: Alles auswählen

<?php
$trackurl = $_SERVER&#91;'PHP_SELF'&#93; ;
$trackUserAgent =strtolower&#40;$_SERVER&#91;'HTTP_USER_AGENT'&#93;&#41;;
if &#40;stristr&#40;$trackUserAgent ,"archiver"&#41;&#41; &#123;$trackrobot="Alexa";&#125;
if &#40;stristr&#40;$trackUserAgent ,"exabot"&#41;&#41; &#123;$trackrobot="Exalead";&#125;
if &#40;stristr&#40;$trackUserAgent ,"fast"&#41;&#41; &#123;$trackrobot="Fast";&#125;
if &#40;stristr&#40;$trackUserAgent ,"firefly"&#41;&#41; &#123;$trackrobot="Fireball";&#125;
if &#40;stristr&#40;$trackUserAgent ,"googlebot"&#41;&#41; &#123;$trackrobot="Google";&#125;
if &#40;stristr&#40;$trackUserAgent ,"msnbot"&#41;&#41; &#123;$trackrobot="MSN";&#125;
if &#40;stristr&#40;$trackUserAgent ,"Yahoo! Slurp"&#41;&#41; &#123;$trackrobot="Yahoo! Slurp";&#125;
if &#40;stristr&#40;$trackUserAgent ,"yahoo"&#41;&#41; &#123;$trackrobot="Yahoo";&#125;
if &#40;stristr&#40;$trackUserAgent ,"Ask Jeeves/Teoma"&#41;&#41; &#123;$trackrobot="Ask Jeeves/Teoma";&#125;
if &#40;stristr&#40;$trackUserAgent ,"jeeves"&#41;&#41; &#123;$trackrobot="Ask Jeeves";&#125;
if &#40;stristr&#40;$trackUserAgent ,"teoma"&#41;&#41; &#123;$trackrobot="Teoma";&#125;
$trackdate = date&#40;'Y-m-d'&#41;;
$tracktime = date&#40;'H&#58;i&#58;s'&#41;;
$trackhost = $_SERVER&#91;'HTTP_HOST'&#93;;
$trackaddr = $_SERVER&#91;'REMOTE_ADDR'&#93;;
$referer = $_SERVER&#91;'HTTP_REFERER'&#93;;
if &#40;$trackrobot != ""&#41; &#123;
// Suchmaschinen //
$eingeloggt = "
trackrobot= $trackrobot
trackurl= $trackurl
trackdate= $trackdate
tracktime= $tracktime
trackhost= $trackhost
trackaddr= $trackaddr
";
mail &#40;"deine@mail.de", "Der $trackrobot war da!", "$eingeloggt"&#41;;
&#125; ?>
Das in eine php-Datei und per include in jede Seite einbinden, und du bekommst eine Mail, die so aussieht:

Code: Alles auswählen

Betreff&#58; Der google war da!

trackrobot= Google
trackurl= /verzeichnis/datei.html
trackdate= 2007-05-25
tracktime= 06&#58;57&#58;08
trackhost= www.deinedomain.de
trackaddr= 66.249.70.41
wir haben eine extra Mailadresse dafür eingerichtet, du musst sehen wie du das organisierst wenn es zuviel wird. du kannst die robotliste ergänzen oder bspw auch die ausgabe ändern, so dass bspw direkt in eine datenbank geschrieben wird.

Siehe auch
https://www.abakus-internet-marketing.d ... -1001.html

viele Grüße, Ezeee

scarim
PostRank 2
PostRank 2
Beiträge: 33
Registriert: 26.10.2006, 21:20

Beitrag von scarim » 25.05.2007, 10:44

Ich benutze Seit einiger Zeit mit wachsender Zufriedenheit dieses System:
https://www.crawltrack.fr/

haste ein tool, kannst alle seiten einpflegen & direkt ne übersicht + weitere details..

ole1210
PostRank 10
PostRank 10
Beiträge: 7464
Registriert: 12.08.2005, 10:40
Wohnort: Olpe

Beitrag von ole1210 » 25.05.2007, 14:17

Das ist ein Witz, oder?

Du lässt dir nicht wirklich immer eine Mail schicken wenn nen Bot irgendeine Unterseite besucht hat, oder?

Das ist doch absoluter Wahnsinn!!!
Oder du hast eine ganz kleine Seite und kaum Besuche.

marle
PostRank 5
PostRank 5
Beiträge: 212
Registriert: 24.02.2005, 15:25

Beitrag von marle » 25.05.2007, 14:57

@Ezeee

wir haben allein von Google 15000 zugriffe täglich (auf 5 Domains verteilt)
da wär das Postfach schnell voll ;-)

smsaffaere
PostRank 1
PostRank 1
Beiträge: 18
Registriert: 23.05.2007, 20:44

Beitrag von smsaffaere » 02.06.2007, 11:32

Vielen Dank für die vielen comments, die ich leider erst jetzt sehe. Irgendwie krieg ich keine Info-Mail bei neuen Antworten auf meine threats.
Jedenfalls habe ich dann wohl ein Problem: php und mySQL werden für mich auf ewig ein Hindernis darstellen, da ich offenbar kein Coder bin. :oops:
Aber vielleicht kann ich mit dem anderen tool was anfangen ... ich bin gespannt.

Anonymous

Beitrag von Anonymous » 02.06.2007, 14:28

wasn das für ein quatsch?
wenn ich ein bot wäre würd ich mir verarscht vorkommen...

Wirths Media
PostRank 9
PostRank 9
Beiträge: 2050
Registriert: 20.09.2004, 20:25

Beitrag von Wirths Media » 02.06.2007, 14:30

Es gab doch mal ein User online Script, würde ich mal nach googeln...

scarim
PostRank 2
PostRank 2
Beiträge: 33
Registriert: 26.10.2006, 21:20

Beitrag von scarim » 03.06.2007, 17:57

Jedenfalls habe ich dann wohl ein Problem: php und mySQL werden für mich auf ewig ein Hindernis darstellen, da ich offenbar kein Coder bin.
Schonmal die Installationsanleitung gelesen?
Ich würd mich an deiner Stelle aber erstmal mit anderen, wesentlicheren Dingen beschäftigen, als zu erfahren wann der GoogleBot kommt.

fi-ausbilden
PostRank 8
PostRank 8
Beiträge: 771
Registriert: 15.04.2006, 08:37

Beitrag von fi-ausbilden » 04.06.2007, 19:31

Pack Google Analytics auf Deine Seite, da muss man nicht viel von Technik verstehen. Da kannst DU dann sehen, wann die Bot´s da waren.

Ich selber benutze AWStats und eine TYPO3-Extension...
Bild

Keks
PostRank 6
PostRank 6
Beiträge: 448
Registriert: 12.03.2004, 20:13
Wohnort: Kiel (Schleswig-Holstein)

Beitrag von Keks » 05.06.2007, 09:02

Google Analytics wird meines Wissens nach nur über JavaScript in die Seiten eingebunden. Da die Bots in der Regel JavaScript nicht unterstützen werden diese dann nicht getrackt. Also hilft meiner Meinung nach Google Analytics nicht weiter um die Bot Bewegungen zu sehen

Aber ich nutze selber kein Analytics, von daher kann das jetzt auch falsch sein was ich hier schreibe. Vielleicht könnte das noch jemand bestätigen oder dementieren ?!?

mfG
Keks

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag