Seite 1 von 1
spiderliste für sessionkill
Verfasst: 21.10.2004, 11:45
von marc75
'AbachoBOT', // Abacho.de
'Acoon Robot', // at-web.at at-web.de
'Allesklar', // allesklar.de
'AltaVista', // altavista.com
'Arachnoidea', // euroseek.com
'ArchitextSpider', // excite.com
'appie', //walhello.com/
'B_L_I_T_Z_B_O_T', // blitzsuche.rp-online.de/
'Crawler', // fastcrawler - altheweb - weitere boots mit crawler im namen
'DeepIndex', //deepindex.com
'FAST', //altheweb.com
'Firefly', //fireball.de
'Fluffy the spider', //searchhippo.com
'Francis', //neomo.de
'Googlebot',//google.com
'Gulliver',//northernlight.com/
'gigabaz', //brainbot.com
'InfoSeek', //infoseek.com
'Inktomi', //inktomi.com - hotbot.lycos.com
'KIT-Fireball', //fireball.de
'Lycos_Spider', //lycos.com
'MantraAgent', //looksmart.com
'Mariner', //kolibri.de
'MiragoRobot', //mirago.de
'Scooter', //altavista.com
'Slurp', // yahoo.com - inktomi.com
'Speedy_Spider', //entireweb.com
'Sqworm', //aol.com
'Teoma', //teoma.com
'UltraSeek', //infoseek.com
'WebCrawler', //?
'firstsbot', //firstsfind.de
'ia_archiver', //alexa.com
'infoseek', // infoseek.com
'marvin', //?
'msnbot', //msn.com
'search.ch', //search.ch
'speedfind', //speedfind.de
'spinne', //spider.de
welche von denen sind unnötig und welche gibt es nicht mehr?
einige Einträge sind schon etwas älter.
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Verfasst: 21.10.2004, 12:04
von bull
Scooter sowie die FAST-Familie sind außer Betrieb. Altavista ist eigentlich als UA nicht existent. Welche unnötig sind, hängt auch davon ab, wie Deine Logs aussehen. Einige wie WebCrawler und generisch Crawler können alles mögliche sein, und ob Du diesen jeweils Deine Seite überlassen möchtest hängt von Dir ab. Von einigen wie Speedy_Spider, marvin und Acoon Robot hatte ich noch nie Besuch.
Verfasst: 21.10.2004, 13:11
von Luckybuy3000
Was ist mit den Bilder Bots ? Die gehören auch da mit hinein.
Verfasst: 21.10.2004, 13:19
von marc75
seit wann sind fast und scooter AD? finde die noch in den logs bei mir, kann aber nicht sehen ob vom januar oder noch später.
Laut Logs:
1. google
2. alexa
3. mirago
4. Scooter
5. Fast
6. IBM Almaden
7. php (irgendwelche Möchtegern)
8. tecomac
9. wget ?
10. httrack ?
11. internetseer
12. webcopier
Werde speedy, marvin, acoon, schon mal entfernen. bei webcrawler muss ich mal schauen, fliegt denke ich auch raus, wenn es Altavista nicht gibt und fast, scooter auch nicht mehr, werde ich die auch entfernen.
Welche sind noch uninterresant? umso kleiner das array am Ende ist, um so besser, zwecks Ladezeit der scripte.
Verfasst: 21.10.2004, 14:11
von bull
finde die noch in den logs bei mir, kann aber nicht sehen ob vom januar oder noch später.
Diese Aussage läßt darauf schließen, daß Du irgendein minderwertiges Statistikprogramm verwendest.
Altavista und FAST wurden soweit ich weiß von Yahoo erworben und crawlen mit ihren eigenen Bots allenfalls noch sporadisch. Siehe besonders auch
https://www.pandia.com/sw-2004/08-yahoo.html (Kurzfassung: Die Entwickelung von AV und FAST wird eingestellt)
Wget HTTrack Webcopier würde ich sowieso ohne Ansehung irgendwelcher URLs sperren.
