Wann war ein Spider da??

[Tanja71]

Hallo Zusammen

Habe hier schon viel gelesen und gestöbert und auch das ein oder andere gefunden, das ich verstanden habe und anwenden konnte

Aber eins suche und suche ich und kann es einfach nicht finden........

Woran erkenne ich denn nun, das googel oder eine andere Suchmaschiene da war und meinen Shop gescannt hat?

Da wir ein paar Schwierigkeiten mit google haben, würde ich das auch gerne mal verfolgen!!

Gruß Tanja

[bull]

Tanja, hast Du schon hier vorbeigeschaut?

[Tanja71]

Hallo Bull


Ja, da war ich schon. Habe auch nach vielem lesen, eine robots.txt erstellt und in den Hauptortner kopiert! Und dachte, wenn mich alle besuchen dürfen, finden mich auch viele gut so?

Aber leider habe ich noch nicht verstanden, wo ich sehen kann, ob so ein Spider da war!

Hab ich irgendwas überlesen?

Wo muß ich rein, oder was muß ich auf machen, damit ich das sehen kann?

Tanja

Ps: das ist ja spitze, so schelle Reaktionen!!!!!

[robo]

Aber leider habe ich noch nicht verstanden, wo ich sehen kann, ob so ein Spider da war!

Du musst in die Logfiles gucken ...

cu, Robo

[Tanja71]

Hallo Robo

OK, ich glaube, das ist ein Gebiet, auf dem ich etwas schwer von begriff bin!!!

Habe jetzt ganz viel nach dem Begriff Logfils gesucht...... und bin schon mal so weit, das ich weiß, das man auf jeden fall Programme dafür braucht und habe das Programm tomahawk und xlogan100 runter geladen! gut?

Aber nun hänge ich schon wieder!!!

Wie komme ich den nur an die Logfiles?

Gruß Tanja

(Ich bin bei 1&1)

[bull]

Machst Du mit FTP-Programm eine FTP-Verbindung.
Wechselst Du in den Ordner /logs
Lädst Du die Datei access.log.16.5 runter. Das ist die von heute.
Machst die Datei in wordpad oder notepad oder ... auf
Liest Du nochmal https://httpsd.apache.org/docs/logs.html#combined (Format bei 1&1 ist ein klein wenig anders)

Analyse-Programm brauchst Du nicht zwingend.

[Metaman]

@Tanja71
wenn ich richtig gesehen hab, hast du Deine Seite bei 1&1

Es gibt da zwei kleine Freeware Tools die ich auch zur kleinen Logfileauswertung benutze.

Und zwar deine Logfiles findest Du wenn Du dich über FTP einloggst, im Verzeichniss mit namen logs
und zwar sind das dann die Dateien mit dem Namen access.log.XX.X.gz
statt dem X stehen dann dort verschiedene Zahlen.
Die Logfiles bei 1&1 sind wochenweise angelegt. das heißt die Datei access.log.15.gz enthällt die Logfiles der 15. Kalenderwoche.
die Logfiles der aktuellen Woche haben eine weitere Zahl im Namen z.b. das heutige Logfile trägst den namen access.log.16.4.gz das steht für den 4. Tag in der 16. Woche.

das Problem bei den Logfiles ist, das alle Domains in einem zusammengefasst werden.
Du brauchst also erstmal ein Tool das das logfile teilt.
dazu benutze ich Tomahawk von https://www.rendle.de/software/tomahawk.html

die Auswertung selber mache ich dann mit
XLogan von https://www.axeuk.com/xlogan.htm
dort siehst Du dann auf der Browseransicht wie oft welcher Spider auf die Domain zugegriffen hat.

Leider kannst Du dort nicht so einfach erkennen auf welche Seiten direkt der Spider war.
das geht bei diesem Programm nur über den Punkt Raw Log dort must du dann direkt nach dem Spider suchen....
aber es gibt sicher noch bessere Programme zur Auswertung... nur als Freeware ist dieses Xlogan schon recht gut...

[Tanja71]

Ein dickes Danke an ALLE

Jetzt habe ich es geschnallt und auch schon gefunden!!!!

JIPPI

Jetzt kämpfe ich zwar mit dem Programm..... aber das bekomme ich schon hin!!

Danke