Seite 1 von 1
Slurp erkennen
Verfasst: 16.10.2004, 11:01
von pnm
Hallo!
Bei einem Projekt schalten wir aufgrund von Sessions diese für die
Bot's am um saubere Ergebnisse in den Serps zu haben. Bei Google
und den anderen funktioniert das auch soweit wunderbar und ohne
Probleme. Nur bei Yahoo scheint es nicht zu klappen da Slurp sich
ja mit Mozilla 5.0 ausgibt. Folgenden Code verwenden wir dafür:
$saSpiders = array("googlebot","crawl","robot","spider","ultraseek","Slurp","Yahoo! Slurp","msnbot");
Hat vielleicht jemand eine Ahnung was man anstatt von "Slurp" und
"Yahoo! Slurp" eintragen sollte um dem Bot keine Sessions zu servieren?
Danke!
Verfasst: 16.10.2004, 17:17
von pnm
Keiner eine Idee?
Verfasst: 18.10.2004, 10:46
von pnm
nochmal in sichtweite schieben.
Verfasst: 18.10.2004, 17:45
von tron
Googlebot gibt sich auch als Mozilla aus seit neuestem
Also sicheres Cloaking geht nur per IP.
Verfasst: 19.10.2004, 11:25
von bull
Googlebot gibt sich auch als Mozilla aus seit neuestem
Bitte praezisieren. Nur Mozilla oder ein spezifischer Mozilla-Browser oder Mozilla/...Googlebot/2.1... (aktuell ganzer UA nicht im Kopf)
Verfasst: 19.10.2004, 11:38
von Jörg
als Mozilla kompatibel:
Mozilla/5.0 (compatible; Googlebot/2.1; +
https://www.google.com/bot.html)
Verfasst: 19.10.2004, 13:15
von pnm
es geht nicht um "cloaking", es geht nur um die session-id, der bot
bekommt keine anderen inhalte als der user zu sehen. was meint
ihr müsste in die zeile rein?
$saSpiders = array("googlebot","crawl","robot","spider","ultraseek","Slurp","Yahoo! Slurp","msnbot");
funktioniert momenten mit google und den anderen sehr gut, nur
slurp bekommt immer die sid mit und indexiert die auch.
Verfasst: 19.10.2004, 13:31
von marc75
steht denn bei yahoo nix darüber? bei google stehts ja in den Erklärungen das die mit dem namen googlebot kommen.
Verfasst: 19.10.2004, 13:41
von Webby
Yahoo! Slurp = Yahoo Inktomi robot.
Slurp = reine Inktomi (für MSN).
Verfasst: 19.10.2004, 14:15
von Jörg
Yahoo Slurp hat folgende Kennung:
Mozilla/5.0 (compatible; Yahoo! Slurp;
https://help.yahoo.com/help/us/ysearch/slurp)
von daher sollte es passen
Verfasst: 19.10.2004, 14:48
von marc75
eigentlich müsste "slurp" reichen um beide zu erkennen, halt bei der prüfung aus gross und Kleinschreibung nicht achten. wie z.B. eregi, stristr bei php
