spiderliste für sessionkill

Beitrag von **marc75** » 21.10.2004, 11:45

'AbachoBOT', // Abacho.de
'Acoon Robot', // at-web.at at-web.de
'Allesklar', // allesklar.de
'AltaVista', // altavista.com
'Arachnoidea', // euroseek.com
'ArchitextSpider', // excite.com
'appie', //walhello.com/
'B_L_I_T_Z_B_O_T', // blitzsuche.rp-online.de/
'Crawler', // fastcrawler - altheweb - weitere boots mit crawler im namen
'DeepIndex', //deepindex.com
'FAST', //altheweb.com
'Firefly', //fireball.de
'Fluffy the spider', //searchhippo.com
'Francis', //neomo.de
'Googlebot',//google.com
'Gulliver',//northernlight.com/
'gigabaz', //brainbot.com
'InfoSeek', //infoseek.com
'Inktomi', //inktomi.com - hotbot.lycos.com
'KIT-Fireball', //fireball.de
'Lycos_Spider', //lycos.com
'MantraAgent', //looksmart.com
'Mariner', //kolibri.de
'MiragoRobot', //mirago.de
'Scooter', //altavista.com
'Slurp', // yahoo.com - inktomi.com
'Speedy_Spider', //entireweb.com
'Sqworm', //aol.com
'Teoma', //teoma.com
'UltraSeek', //infoseek.com
'WebCrawler', //?
'firstsbot', //firstsfind.de
'ia_archiver', //alexa.com
'infoseek', // infoseek.com
'marvin', //?
'msnbot', //msn.com
'search.ch', //search.ch
'speedfind', //speedfind.de
'spinne', //spider.de

welche von denen sind unnötig und welche gibt es nicht mehr?
einige Einträge sind schon etwas älter.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **bull** » 21.10.2004, 12:04

Scooter sowie die FAST-Familie sind außer Betrieb. Altavista ist eigentlich als UA nicht existent. Welche unnötig sind, hängt auch davon ab, wie Deine Logs aussehen. Einige wie WebCrawler und generisch Crawler können alles mögliche sein, und ob Du diesen jeweils Deine Seite überlassen möchtest hängt von Dir ab. Von einigen wie Speedy_Spider, marvin und Acoon Robot hatte ich noch nie Besuch.

Beitrag von **Luckybuy3000** » 21.10.2004, 13:11

Was ist mit den Bilder Bots ? Die gehören auch da mit hinein.

Beitrag von **marc75** » 21.10.2004, 13:19

seit wann sind fast und scooter AD? finde die noch in den logs bei mir, kann aber nicht sehen ob vom januar oder noch später.

Laut Logs:
1. google
2. alexa
3. mirago
4. Scooter
5. Fast
6. IBM Almaden
7. php (irgendwelche Möchtegern)
8. tecomac
9. wget ?
10. httrack ?
11. internetseer
12. webcopier

Werde speedy, marvin, acoon, schon mal entfernen. bei webcrawler muss ich mal schauen, fliegt denke ich auch raus, wenn es Altavista nicht gibt und fast, scooter auch nicht mehr, werde ich die auch entfernen.

Welche sind noch uninterresant? umso kleiner das array am Ende ist, um so besser, zwecks Ladezeit der scripte.

Beitrag von **bull** » 21.10.2004, 14:11

finde die noch in den logs bei mir, kann aber nicht sehen ob vom januar oder noch später.

Diese Aussage läßt darauf schließen, daß Du irgendein minderwertiges Statistikprogramm verwendest.
Altavista und FAST wurden soweit ich weiß von Yahoo erworben und crawlen mit ihren eigenen Bots allenfalls noch sporadisch. Siehe besonders auch https://www.pandia.com/sw-2004/08-yahoo.html (Kurzfassung: Die Entwickelung von AV und FAST wird eingestellt)
Wget HTTrack Webcopier würde ich sowieso ohne Ansehung irgendwelcher URLs sperren.