exabot.com?

Beitrag von **Sunbringer** » 26.10.2004, 09:34

Hi,

kennt Ihr den exabot.com?

Spiderte heute eine Menge Seiten bei uns unter ng21.exabot.com.

von **Anzeige von ABAKUS** »

Beitrag von **fool** » 26.10.2004, 11:55

Hi sunbringer,

sieht so aus, als ob sich dahinter eine neue Suchmaschine aus Frankreich verbirgt. Wenn du exabot.com aufrufst, landest du bei
https://beta.exalead.com/search
Leider habe ich keine Seite über Beachtung und Nicht-Beachtung von robots.txt gefunden. Wie sieht das bei dir aus in den Logfiles?
Wenn er beachtet, dürfte er bei mir bleiben, sonst auf wiedersehen!

Gruß
fool

Beitrag von **Sunbringer** » 26.10.2004, 12:48

Ja, auf der Seite wurde ich auch nicht schlau, daher mal die Anfrage hier...

Er wurde von AWStats nicht als Bot identifiziert. Der erste Zugriff in den Logfiles findet auf eine Seite, nicht auf die robots.txt statt.

Hier die erste Log-aufzeichnung:

Code: Alles auswählen

84.233.148.21 - - &#91;26/Oct/2004&#58;09&#58;55&#58;43 +0200&#93; "GET /seite.php HTTP/1.1" 200 9325 "-" "NG/2.0"

Beitrag von **bull** » 26.10.2004, 13:37

Neben der genannten IP von Sunbringer habe ich den NG noch von
195.154.174.164
Daß robots.txt nicht zuerst geladen wird, ist in der Tat verbesserungswürdig. Die Zuordnung zu exalead ist richtig.

Beitrag von **Sunbringer** » 26.10.2004, 14:28

ich denke, ich werde den Bot ersteinmla nicht ausschließen, sondern mal die Seite der fr. SE beobachten, wie diese sich entwickelt...

Beitrag von **fool** » 26.10.2004, 15:56

Hi sunbringer,

ich habe auch noch mal ein bisschen ausführlicher die Seite besucht und finde das Projekt gar nicht schlecht. Scheint nicht so eine Ergebnissschwämme zu haben wie bei Google sondern eine HP nur einmal. Nett ist der Screenshot der Startseite. Aber damit gibt es ja schon mehr Ansätze.

Vielleicht sollte man die aber mal anschreibe wegen robots.txt?

Gruß
fool

Beitrag von **Sunbringer** » 26.10.2004, 16:20

Schon getan

Sunbringer hat geschrieben: Dear exaled-Team,

today, your robot ng21.exabot.com visited our webpage. After a look on your page i recognized your project.
In my eyes it is very successfull, but there is one problem.

Your robot disregarded our robots.txt. After a long discussion with other webmasters we figured out the high priority of the robots.txt. Many webmasters had the opinion, that a bot, which disregards the robots.txt, will have to be excluded via .htaccess.

Please make sure, your bot will stricktly regard the robots.txt in the near future.

thank you for your time and a successfull start as a very good SE!

sincerly
Jan Borgwardt
Microcosm Media

Beitrag von **fool** » 26.10.2004, 19:29

du bist ja von der schnelle Sorte, sunbringer

bin ja mal auf die Antwort gespannt.
Das ist ja kostenlose Homepage-Optimierung!!!
Gruß
fool

Beitrag von **bull** » 26.10.2004, 22:40

So ist's richtig, Jan
wenn ein unbekannter Bot da ist, der unter Umständen (und darauf kommt es an) eine vielleicht irgendwann ernstzunehmende Suchmaschine darstellt, hinschreiben. Ich selbst allerdings tue das nie mit echtem Namen oder gar Nennung einer URL und naturgemäß nur von einer Zweitemailadresse aus, die auch Spam verträgt. Traue niemandem.
Du hältst uns bitte auf dem Laufenden.

Grüße
jan

Beitrag von **Sunbringer** » 27.10.2004, 06:57

bull hat geschrieben:... nur von einer Zweitemailadresse aus, die auch Spam verträgt. Traue niemandem.

Hol dir Mozilla Thunderbird, das hat einen extrem guten Junkfilter und lernt super schnell dazu. 10 Spammials junken und du bist die Sorgen los

bull hat geschrieben:... Du hältst uns bitte auf dem Laufenden.

Grüße
jan

Klar Jan

, mal abwarten ob die sich überhaupt dazu äußern...

schöne Grüße
Jan

Beitrag von **bull** » 27.10.2004, 13:29

Klar hab ich den Donnervogel für alle Zweit- und Drittadressen, aber meine primäre e-mail ist seit Jahren spamfrei - und das soll auch so bleiben, weil ich öfters den webmailer einsetze. Mit den nigerianischen Bettelbriefen hat Thunderbird allerdings immer wieder mal Probleme.

Zurück zum Thema: Es scheint mir erwähnenswert, daß die 84.233.148.21 einem englischen Anbieter gehört, die 195.154.174.164 jedoch zu Tiscali France. Von 84.233.148.10 z.B. bekomme ich reguläre Benutzer. Ob die allerdings auch von Exalead sind ist nicht zu sagen, da whois keinen detaillierteren Aufschluß hier bietet. Schade.

Die NG halten sich definitiv an robots.txt. Ich hatte den Eintrag

User-agent: NG/1.0
Disallow: /
und

User-agent: NG/2.0
Disallow: /

seit einiger Zeit in der robots.txt, als mich die von exalead gegebenen Informationen nicht zufriedenstellten - es wird ja keine Infoseite im User-agent angegeben. Ich habs testweise mal herausgenommen.

Gruß
jan

Beitrag von **matmax** » 07.11.2004, 15:37

ich biete auf meiner hp einige bilder und sonstige sachen zum download an. exabot hat heute mittag alles was man bei mir runterladen kann runtergeladen.

weiss jemand von euch, was exabot damit tut? ich möchte nämlich nicht, dass exabot diese files irgendwo zum download bereitstellt...