FAST MetaWeb Crawler

Beitrag von **darkeye** » 01.10.2005, 16:26

Hallo,

mir ist gerade in meinen Logfiles aufgefallen, dass ein gewisser "FAST MetaWeb Crawler" meine memberlist.php meines phpBB Forums öfters besucht. Das komische aber ist, dass es in meinem Forum keinen Link zur memberlist.php gibt. Diesen Link habe ich damals bei der Foreninstallation sofort entfernt.

Mich würde jetzt mal interessieren, wieso dieser Crawler trotzdem diese Seite besucht.... Kann es vielleicht sein, dass jemand nur wissen möchte ob sich im Forum viele Leute registriert haben, so dass man dann bei einer hohen Anzahl an Forenmitgliedern im Ranking entsprechend besser gelistet wird?

Gruss
Daniel

von **Anzeige von ABAKUS** »

Beitrag von **bull** » 01.10.2005, 16:34

Ohne IP-Adresse und exakten User-agent ist keine Aussage möglich.

Beitrag von **Malte Landwehr** » 01.10.2005, 16:34

Szenario 1:
User A in deinem Forum hat einen Link in seinem Profil auf Seite A.
Nun kommt User B. Der ist clever und weiß, bei deiner Forensoftware wird die (nicht verlinkte) Memberliste wohl unter /memberlist.php zu finden sein.
Dort klickt er auf den Link zu Seite A.
In den (öffentlichen) Reffer-Statistiken von Seite A taucht nun also ein Link zu deiner Memberliste auf.
Diesem Link folgt der Bot.

von **Anzeige von ABAKUS** »

Beitrag von **darkeye** » 01.10.2005, 16:55

@ nX

stimmt, das wäre eine Möglichkeit. Da ich aber sehr wenige Mitglieder habe, und nur zwei von ihnen haben eine Webseite im Profil angegeben, ist diese Wahrscheinlichkeit sehr gering dass deine Theorie stimmt, vorallem habe ich mir die zwei Seiten grade angeguckt und konnte dort keine Refererr-Statistiken finden.

@ Bull
IP: 66.151.181.12

Wie ich den User Agent herausfinde, weiss ich ehrlichgesagt nicht...

Beitrag von **cu-viper** » 01.10.2005, 18:14

ich habe ebenfalls seit 2 tagen sehr häufigen besuch dieses bots.
folgende angaben habe ich dazu - mal sehen ob jemand rausfindet, was der will bzw für wen der crawled.

im gegensatz zu darkeye durchsucht der bot bei mir jede seite - normales crawling würde ich sagen.

66.151.181.12 crawler-gw-02.bos3.fastsearch.net FAST MetaWeb Crawler (helpdesk at fastsearch dot com)

mfg cu

Beitrag von **baerenwurm3000** » 07.10.2005, 22:58

Weiß jemand, wo ich die IP-Adressen des Bots finde? Auf https://www.iplists.com/nw/ gibt's dazu nix.

Beitrag von **Southmedia** » 16.03.2006, 20:18

So, ein halbes Jahr ist vergangen, nun ist der gute mir auch mal durch sein seltsames Crawlingprofil aufgefallen.

UA: FAST MetaWeb Crawler (helpdesk at fastsearch dot com)
IP: 70.42.51.10
Besonderheiten:
Arbeitet sich ziemlich genau im 2-Minuten-Takt von Seite zu Seite, hin und wieder braucht er 1 Sekunde länger. Er übermittelt dabei einen korrekten Referer (!) und scheint die gefundenen Links dann wirklich hinten in seine Crawlingliste dranzusetzen.

Weiss mittlerweile jemand mehr?

Beitrag von **thetrasher** » 17.03.2006, 16:05

70.42.51.10 besitzt keinen Reverse-DNS-Namen
70.42.51.10 ist eine Internap-IP

Beides sind sichere Anzeichen für einen bösen Bot.

Einem Thread auf WMW habe ich entnommen, dass Fakes im Umlauf sind.

Hier steht, dass FAST 2003 an Overture verkauft wurde. Yahoo besitzt jetzt Overture. Ich kann mir nicht vorstellen, dass Yahoo anonyme Internap-Server benutzt.

Im WMW-Thread steht auch genau die von Dir angegebene IP. Wurden bei Dir auch Referer übertragen?

Nein, das war nicht der frühere Crawler. Der neue Bot kommt von diesem neuausgerichtetem Unternehmen:

Our Business is Enterprise Search.