Robot Identifikation

Beitrag von **nicknolte1253** » 15.03.2007, 11:25

Mal eine Frage an die Experten.

bei Robots kommen manchmal +http://.... oder eine Mailadrese mit @ im Useragent vor.

Bei Browsern hab ich das noch nicht gesehen. Kann man das als ein zusätzliches Kriterium zur Unterscheidung zwischen Usern und Robots nehmen?

Also nach +http:// und @ suchen?

von **Anzeige von ABAKUS** »

Beitrag von **mikkido** » 15.03.2007, 14:55

Hallo nicknolte1253,

heutzutage gibt Dir eigentlich nur die IP-Adresse der Suchmaschine etwas Sicherheit, jedoch auch keine 100%-Garantie.

Die Grabber tricksen doch auch - immer wieder kommen z.B. Googlebot-Fakes daher. Wenn Du dann z.B. auf den Text des Googlebots prüfts (... compatible; Googlebot/2.1; +https://www.google.com/bot.html...) und den Grabber dann die Tür aufmachst, hast Du ein kleines Problem

Unter www.iplists.com findest Du übrigens die IP-Bereiche der Suchmaschinen.

Gruss
Michael

Beitrag von **nicknolte1253** » 16.03.2007, 01:55

danke Michael,

auch für die IP Liste. Es sollte ja auch nur als zusätzliches kriterium gelten. weitere checks gehen dann über die ip

Beitrag von **mikkido** » 16.03.2007, 18:35

@ all

Wie verfahrt ihr eigentlich wenn kein User-Agent angegeben ist? Grundsätzlich sperren?

Liebe Gruesse
Michael