Slurp erkennen

Beitrag von **pnm** » 16.10.2004, 11:01

Hallo!

Bei einem Projekt schalten wir aufgrund von Sessions diese für die
Bot's am um saubere Ergebnisse in den Serps zu haben. Bei Google
und den anderen funktioniert das auch soweit wunderbar und ohne
Probleme. Nur bei Yahoo scheint es nicht zu klappen da Slurp sich
ja mit Mozilla 5.0 ausgibt. Folgenden Code verwenden wir dafür:

$saSpiders = array("googlebot","crawl","robot","spider","ultraseek","Slurp","Yahoo! Slurp","msnbot");

Hat vielleicht jemand eine Ahnung was man anstatt von "Slurp" und
"Yahoo! Slurp" eintragen sollte um dem Bot keine Sessions zu servieren?

Danke!

von **Anzeige von ABAKUS** »

Beitrag von **pnm** » 16.10.2004, 17:17

Keiner eine Idee?

Beitrag von **pnm** » 18.10.2004, 10:46

nochmal in sichtweite schieben.

Beitrag von **tron** » 18.10.2004, 17:45

Googlebot gibt sich auch als Mozilla aus seit neuestem

Also sicheres Cloaking geht nur per IP.

Beitrag von **bull** » 19.10.2004, 11:25

Googlebot gibt sich auch als Mozilla aus seit neuestem

Bitte praezisieren. Nur Mozilla oder ein spezifischer Mozilla-Browser oder Mozilla/...Googlebot/2.1... (aktuell ganzer UA nicht im Kopf)

Beitrag von **Jörg** » 19.10.2004, 11:38

als Mozilla kompatibel:

Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Beitrag von **pnm** » 19.10.2004, 13:15

es geht nicht um "cloaking", es geht nur um die session-id, der bot
bekommt keine anderen inhalte als der user zu sehen. was meint
ihr müsste in die zeile rein?

$saSpiders = array("googlebot","crawl","robot","spider","ultraseek","Slurp","Yahoo! Slurp","msnbot");

funktioniert momenten mit google und den anderen sehr gut, nur
slurp bekommt immer die sid mit und indexiert die auch.

Beitrag von **marc75** » 19.10.2004, 13:31

steht denn bei yahoo nix darüber? bei google stehts ja in den Erklärungen das die mit dem namen googlebot kommen.

Beitrag von **Webby** » 19.10.2004, 13:41

Yahoo! Slurp = Yahoo Inktomi robot.
Slurp = reine Inktomi (für MSN).

Beitrag von **Jörg** » 19.10.2004, 14:15

Yahoo Slurp hat folgende Kennung:

Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)

von daher sollte es passen

Beitrag von **marc75** » 19.10.2004, 14:48

eigentlich müsste "slurp" reichen um beide zu erkennen, halt bei der prüfung aus gross und Kleinschreibung nicht achten. wie z.B. eregi, stristr bei php