Forum > SEO & Online Marketing & Social Media

WWWeasel

dafür zu sorgen, daß nicht 7 von 10 (!) Ergebnissen bei der Suche die gleiche Domain ist.

Da arbeite ich im Moment dran. Bis Ende der Woche müßte das fertig sein.

WWWeasel

@KeepCool Ich hatte im Thread zum WWWeasel-Robot schon geschrieben, dass die Beachtung der robots.txt ganz oben auf meiner To-Do Liste steht. Diese Woche bin ich noch mit einer kleinen Ranking-Verbesserung beschäftigt, aber dann gehts an die Beachtung der robots.txt. Der nächste Crawler-Lauf (kommt ...

WWWeasel

@pi-de Eine SE bringt ihre SERPs nicht in anderen SEs unter um Traffic zu generieren, sondern sperrt sie über die robots.txt. Dieser Definition nach wäre F*reball.de also eine Pseudo-Suchmaschine. Wird hier aber wohl kaum jemand ernsthaft behaupten wollen. @SloMo Vielleicht sollte man so lange versu...

WWWeasel

Eine ernstzunehmende Suchmaschine entsteht nicht durch die Datenmenge Ich weiß. Hatte ich aber auch schon weiter oben erwähnt. Aber ganz ohne entsprechende Datenmenge geht es halt auch nicht. sondern durch ein intelligentes Ranking. Und das scheint ja nun nicht vorhanden zu sein. Da wird es in den ...

WWWeasel

Da guckst du: https://wwweasel.de/s/?q=site%3Amyengines.in&p=10 Jau. Da muss ich wohl mal einen Blick in die Tiefen des Sourcecodes werfen. :cry: Pro Keyword 4 Bytes? Plus die Keyword-Datenbank, in der die Verbindung von ID zu ausgeschriebenem Keyword hergestellt wird. Sind bei den 11,8 Mio. Se...

WWWeasel

Der Bot sollte IF_MODIFIED_SINCE + Datum des letzen Spiderns der Seite im Header mitschicken und anschließend am 304 erkennen wenn er nichts holen braucht. Soweit die Theorie. Leider habe ich aber in der Vergangenheit schon Server erlebt bei denen das dann nicht zum gewünschten Ergebnis geführt hat...

WWWeasel

Irgendwie kann ich mir die Zahlen nicht vorstellen. 11,8 Mio. Seiten auf 50 GB. Entweder mein Taschenrechner ist kaputt oder ich habe einen brutalen Denkfehler. Hmm, vieviel KB bleiben da pro Seite? Wir cachen ja nicht die ganzen Seiten. Es werden nur die URL, Überschrift, Snippet, Keywords und ein...

WWWeasel

Ich bin mir durchaus bewusst, wie wir momentan zum größten Teil unseren Traffic bekommen, und dass einige hier... ok, die meisten... das nicht gut finden. Aber wie jeder hier müssen wir von irgendwas leben. Andererseits denke ich auch, dass wir einen deutlich höheren technischen Aufwand treiben als ...

WWWeasel

Da dieser Bot zusätzlich keine robots.txt abfragt, ist das "rude behaviour" und damit unerwünscht. Das steht ganz oben auf unserer To-Do Liste. Im Moment ist der Robot aber durch. Wenn er das nächste Mal startet, wird er die robots.txt beachten. Ein Grossteil der Spider, die sonst so durc...

WWWeasel

Aber bei einem Harvester/Spider ist die Internetanbindung der Flaschenhals. Falsch. Die Internet-Anbindung stellt da überhaupt kein Problem dar. CPU-Leistung (zum Parsen und Verarbeiten der Seiten) und Festplattenzugriffe (bei der Indexerstellung) sind bei wirklich großen Datenmengen das Problem. B...

WWWeasel

@SloMo Google setzt Python ein. Für das Webfrontend oder für die internen Datenbankstrukturen? Ist das erste Mal dass ich davon höre, deswegen meine Neugier. @damael Habt ihr für WWWeasel den gesamten Bot selber programmiert? Ist alles selbst gemacht. Es gibt zwar einige Klassenbibliotheken in Delph...

WWWeasel

Ich persönlich setze da keinesfalls auf irgendwelche Websprachen. Auch wenn die Just-in-Time Compiler einiger Sprachen mittlerweile teilweise recht gut sein mögen, an die Performance von nativem Code kommen die dann doch nicht ran. Unsere Software für WWWeasel ist in Borland Delphi erstellt. Bei Dat...

Die Suche ergab 12 Treffer

WWWeasel Robot v1.00 (http://wwweasel.de)

WWWeasel Robot v1.00 (http://wwweasel.de)

Re: WWWeasel Robot v1.00 (http://wwweasel.de)

Suche gute Spidersoftware