Seite 1 von 1
Robot Identifikation
Verfasst: 15.03.2007, 11:25
von nicknolte1253
Mal eine Frage an die Experten.
bei Robots kommen manchmal +http://.... oder eine Mailadrese mit @ im Useragent vor.
Bei Browsern hab ich das noch nicht gesehen. Kann man das als ein zusätzliches Kriterium zur Unterscheidung zwischen Usern und Robots nehmen?
Also nach +http:// und @ suchen?
Verfasst: 15.03.2007, 14:55
von mikkido
Hallo nicknolte1253,
heutzutage gibt Dir eigentlich nur die IP-Adresse der Suchmaschine etwas Sicherheit, jedoch auch keine 100%-Garantie.
Die Grabber tricksen doch auch - immer wieder kommen z.B. Googlebot-Fakes daher. Wenn Du dann z.B. auf den Text des Googlebots prüfts (... compatible; Googlebot/2.1; +
https://www.google.com/bot.html...) und den Grabber dann die Tür aufmachst, hast Du ein kleines Problem
Unter
www.iplists.com findest Du übrigens die IP-Bereiche der Suchmaschinen.
Gruss
Michael
Verfasst: 16.03.2007, 01:55
von nicknolte1253
danke Michael,
auch für die IP Liste. Es sollte ja auch nur als zusätzliches kriterium gelten. weitere checks gehen dann über die ip
Verfasst: 16.03.2007, 18:35
von mikkido
@ all
Wie verfahrt ihr eigentlich wenn kein User-Agent angegeben ist? Grundsätzlich sperren?
Liebe Gruesse
Michael
