Zu schneller Linkaufbau wirklich schädlich?

MeNoZony hat geschrieben:

t-rex hat geschrieben: Das Crawlen und speichern einer Seite dauert im Normalfall nicht einmal 1 Sekunde.

Nein, im Optimalfall.
Das ist ein erheblicher Unterschied. Google crawlt asiatische Server nicht aus Asien und deutsche Server nicht aus Deutschland usw.

Hmmm... Jetzt habe ich extra Tiefgestapelt in der Hoffnung, wir finden einen gemeinsamen Nenner. Denn einen Optimalfall nenne ich 10 Dokumente in einer Sekunde. Und wohlgemerkt unabhängig vom Standort.

MeNoZony hat geschrieben:

t-rex hat geschrieben: 1 Crawler kann demnach 86400 Seiten/Urls am Tag abarbeiten. Auf einem Rechner können 100, 1000, 10000 oder mehr Crawler gleichzeitig arbeiten. Das wären dann bis zu 864.000.000 Dokumente am Tag auf einem Server. In ein Rack passen 46 Server. und so käme ich auf 39.744.000.000 Dokumente die an einem Tag durchsucht werden können.

Ja, kann er.
Ein Ferrari kann theoretisch 300km/h fahren, nur wird ihm das auf der B1 von Essen nach Dortmund nachmittags um vier nur in den allerseltensten Fällen gelingen.
Wenn Sonntagsfahrverbot ist o.ä.

Ich dachte wir reden vom täglichen Betrieb und nicht von Ausnahmesituationen. Und wir reden doch nicht über einen Hobbyprogrammierer der seine Spider über eine 128kbit ISDN Standleitung schickt. Also was ist das für ein Vergleich?

MeNoZony hat geschrieben:

t-rex hat geschrieben: Alle Links die gefunden wurden, kommen in eine Tabelle von wo aus versch. Bewertungsprozesse

Diese Technik ist mir geläufig, stand aber prinzipiell gar nicht zur Diskussion.

Ich würde schon sagen, dass dies ebenfalls zur Diskussion steht. Denn die Trennung von Crawlen und Bewerten ist Dir bei der Einschätzung, dass dies 15 Sekunden dauern würde entgangen.

MeNoZony hat geschrieben:

t-rex hat geschrieben: Die 1 Milliarde war schon 2000 unter Dach und Fach. Seit 2008 sind es über 1 Billion.

Jou.
War mir auch bekannt.
Was letztendlich den Anspruch einer universellen Suchmaschine noch mehr ad absurdum führt und noch mehr Leuten die Hoffnung stiehlt, irgendwann in diesem Leben nach oben zu kommen...

Dann frage ich mich, warum Du in einem vorherigen Posting das platzen des Rechnerparks von Google auf 1 Mrd. Seiten festgemacht hast!?

Ich hatte es schon in meinem vorherigen Post angedeutet, dass es schwer ist nachzuvollziehen, auf was Du raus willst. Du schreibst, dass Du schon 30 Jahre programmierst!? So dürften wir wohl in etwa im selben Alter sein. Wenn ich aber lese was Du Wie schreibst, kommen Zweifel in mir auf. Sowohl am geschätzten Alter als auch an der Erfahrung. Da ich aber keine anderen Fakten an der Hand habe, muss ich auch die Möglichkeit in Erwägung ziehen, dass Du irgendwo in den Anfängen des Internets stehen geblieben bist.

15 Jahre Erfahrungen zu haben in denen man mit der Technik gewachsen ist, ist mit Gold nicht zu bezahlen. Aber Zahlen, Daten, Fakten zu Verbindungsgeschwindigkeiten und Programmiermöglichkeiten von vor 15 Jahren in die Diskussion zu werfen ist absurd. Da waren Modems mit 9600 Baud schon rasend schnell und Compuserve und AOL waren das Internet.

Aber lassen wir das. Profo hat einen guten Link gepostet. Da steht ja alles was man wissen sollte.

Sonnige Grüsse
HaPe

t-rex hat geschrieben:Denn einen Optimalfall nenne ich 10 Dokumente in einer Sekunde. Und wohlgemerkt unabhängig vom Standort.

Reines Wunschdenken.
Lassen wir mal die unangemessen billige Polemik ausser acht, also die 9600 Baud, Compuserve, Bblablabla und reden über ganz normale Webserver, wie sie heute halt existieren.
Die sind halt idR nicht so, daß sie auf eine Anfrage innerhalb von 1 Sekunde eine komplette Seite ausliefern, nicht von Thailand nach Amerika und auch nicht von Tübingen nach Amerika. Noch nicht mal von Kanada nach Amerika und vice versa.
Im Gegenteil.
Ich habe eine ganze Latte Server in Nordamerika zu stehen, die den lieben langen Tag wirklich nichts anderes machen als im Kundenauftrag zu spidern und das weltweit. Da ist nichts anderes drauf, die machen nichts als Spider zu versorgen. Die Anbindung ist entsprechend den amerikanischen Standards unterschiedlich von alten T bis OC
Ich bin also von der Anbindung auf einem Level bei dem man schon weiß, wovon man redet wenn man die Ergebnisse jeden Tag zu sehen bekommt.
Insofern habe ich wenig Lust endlos mit Leuten zu diskutieren, die wahrscheinlich Webseiten zusammenkloppen und meinen, sie hätten das Pulver erfunden und zwar schon relativ aggressiv- aber gut, das ist halt mittlerweile deutscher Forenstandard, man muß sich damit abfinden, daß irgendwelche Halbwissenschaftler sofort meinen beißen zu müssen.
Also: Ihr glaubt Euren Informationen, woher immer Ihr die beziehen möget und ich glaube meinen Erfahrungen aus 15 Jahren fräsen durch das Internet und meinen täglichen Logs.
Insofern: beenden wir das leidige Thema einfach, denn nach der Methode "Du bist doof weil Du eine andere Meinung hast" ist mir nicht, denn auf einen Nenner werden wir nicht mehr kommen und wir diskutieren offenbar nicht mit einem vergleichbaren Erfahrungshintergrund...

Wie funktioniert ein google-Crawler?

Nehmen wir an, google hat ein Rechenzentrum für seine Crawler reserviert, dann gibt es einen Serverpark, wo parallel Crawler arbeiten, die die vorhandenen Maschinen zu großen Teilen ausnutzen und es gibt eine Internetanbindung, eine Up- und eine down-Leitung. google feuert parallel so viele Seitenaufrufe in die Welt, wie die Leitung hergibt und es interessiert die Maschine nur am Rande, wann irgendwann was zurückkommt. Wenn aus Nordamerika innerhalb von 15 Sekunden keine Antwort kommt, dann setzt der bot die Webseite auf eine Timeout-Liste und probiert es nach 2 Minuten wieder, wenn dann nichts kommt, dann versucht er es nach 4 Minuten, dann nach 8 Minuten, dann nach 16 Minuten wieder. Wenn aus Asien innerhalb von 45 Sekunden keine Antwort kommt, dann verfährt er analog. Die Seite kommt auf die Timeout-Liste und er probiert es mit wachsendem Abstand immer wieder bis er Antwort erhält. Für unterschiedlich entfernte Server gibt es halt unterschiedliche Timeout-Zeiten. Google wird schon ermittelt haben für welche IP-Blöcke welche Timeout-Zeiten Sinn machen.

Es gibt also nicht einen simplen Crawler, der was auf die Up-Leitung schickt und dann mal wartet, was da zurückkommt. Gut möglich, dass es spezialisierte Maschinen gibt, die nur rausschicken und welche, die die Antworten erhalten. Gerade, wenn es stimmt, dass du dich mit Programmieren auskennst, dann sollte doch ein solcher Aufbau recht naheliegend sein. Der googlebot ist doch nicht mit einem 08/15 freeware-crawler für den Windows-PC zu vergleichen.

MeNoZony hat geschrieben:auf einen Nenner werden wir nicht mehr kommen und wir diskutieren offenbar nicht mit einem vergleichbaren Erfahrungshintergrund...

Damit hast du wohl recht, ich komme mir vor als wenn ich meinem Vater ein rudimentäres Verständnis von dem Funktionieren einer Suchmaschine beibringen müßte. Sorry, ich finde diese Polemik auch doof und wir können das jetzt hier wirklich beenden, mich stört nur dieses im Duktus eines allwissenden Programmierers vorgetragene Zeug, das einfach so fern von dem ist, wie jemand, der sich ein wenig mit Informatik auskennt, eine Suchmaschine konzipieren würde.

MeNoZony hat geschrieben:Lassen wir mal die unangemessen billige Polemik ausser acht, also die 9600 Baud, Compuserve, Bblablabla

Das ist keine Polemik sondern das sind Fakten.
Siehe hier:

Der Online-Dienst Compuserve hat zwei neue Zugangsmoeglichkeiten geschaffen. So koennen sich die Mitglieder nun auch in Koeln und Karlsruhe einwaehlen. Es wird eine Modemgeschwindigkeit von 9600 Baud unterstuetzt.
Quelle: https://www.computerwoche.de/heftarchiv ... 2/1113062/

Und hier:

Die übliche Modem-Geschwindigkeit, die zur Einwahl in das Internet verwendet wird, ist zum Teil sehr langsam; sie liegt bei vielen World Wide Web-Nutzern (42,4%) unter 14.4 k.
Quelle: https://www.w3b.org/ergebnisse/w3b1/

Das nur als Beispiel.

Aber ....

MeNoZony hat geschrieben:Insofern habe ich wenig Lust endlos mit Leuten zu diskutieren, die wahrscheinlich Webseiten zusammenkloppen und meinen, sie hätten das Pulver erfunden und zwar schon relativ aggressiv- aber gut, das ist halt mittlerweile deutscher Forenstandard, man muß sich damit abfinden, daß irgendwelche Halbwissenschaftler sofort meinen beißen zu müssen.

DAS nenne ich billig und polemisch

MeNoZony hat geschrieben:Also: Ihr glaubt Euren Informationen, woher immer Ihr die beziehen möget und ich glaube meinen Erfahrungen aus 15 Jahren fräsen durch das Internet und meinen täglichen Logs.

Full Ack! Auch ich glaube lieber dem, was ICH weiss und mit eigenen Augen sehe mehr, als dem, was mir Fremde in einem Forum erzählen. Erst recht dann, wenn sie ihre Behauptungen mit unglaubwürdigen Ansagen untermauern wollen.

MeNoZony hat geschrieben:Insofern: beenden wir das leidige Thema einfach, denn nach der Methode "Du bist doof weil Du eine andere Meinung hast" ist mir nicht, denn auf einen Nenner werden wir nicht mehr kommen

Ist wohl besser so.

MeNoZony hat geschrieben:und wir diskutieren offenbar nicht mit einem vergleichbaren Erfahrungshintergrund...

Ich glaube, Du weisst gar nicht wie recht Du damit hast

Sonnige Grüsse
HaPe

Ich bin gerade dabei eine neue Internetseite zu erstellen und diese fertig ist, möchte ich Sie in die verschiedene Kataloge und Artikelverzeichnisse eintragen.


In wie viele dieser Katalog der Artikelverzeichnisse sollte ich denn meine Seite pro Woche maximal eintragen?
Was meint ihr?


Ich habe nämlich nicht einmal eine ungefähre Ahnung von dieser Sache

web334 hat geschrieben: Ich habe nämlich nicht einmal eine ungefähre Ahnung von dieser Sache

Das weiß hier keiner wirklich - mach wie du denkst. Oder fang an selber zu denken. Noch besser - fang an hier zu lesen. Oder benutze die Forensuche - damit sollten alle möglichen Antworten geliefert sein.

das ist ganz einfach!!

Du musst Deine freiwillig gesetzten links, pro woche, auf andere pages mal 100 nehmen!!

also: 1 fl_link für wertvolle 100 links in K oder AV

setzt Du freiwillige links????