ABAKUS

Hallo,

tuen crawler / spider die domains eher mit www oder ohne www abspidern. D.h wenn ich einen crawler / spider baue sollte der nur domain.tld oder www.domain.tld besuchen (oder beides)?


DANKE


.

Mach doch vorher ne Abfrage über die Yahoo-API oder sowas und schau, wie das erste BL-Ergebnis indiziert ist. Gibt bestimmt aber auch einfachere Wege, wenn man das unbedingt unterscheiden muss.

Nun ich hab schon Domains erlebt da kamen unterschiedliche "Seite" je nachdem ob man www.domain.tld oder domain.tld aufgerufen hat.

.

ist halt die Frage, ob Dein Spider 100% zutreffende Ergebnisse braucht und somit jeden Sonderfall berücksichtigen muss. Oft kann man ja ne gewisse Fehlerquote tolerieren, solange sie nicht systematisch ist. Z.B. musst Du ja auch irgendeinen timeout-Wert festlegen, ab dem der Crawler die Biege macht usw...

Okay - anders gefragt (leider funktioniert die Suche hier da irgenwie nicht) was ist Best Practice: mit www oder ohne www

Oder mit Shakespeare: To www or not to www


.

Um Dich vollends in Verzweiflung zu stürzen: Was machst Du denn mit den gar nicht mal so unüblichen Subdomains?

3DCG hat geschrieben:Okay - anders gefragt (leider funktioniert die Suche hier da irgenwie nicht) was ist Best Practice: mit www oder ohne www

Oder mit Shakespeare: To www or not to www .

look like any link you found

oder uf Westerwällisch
spider das was du gefunden hast
den das was als Link gefunden wurde dürfte auch existieren

oder was willst du SPieder?
Andy-hat-keinen-Kaffee-mehr.de?

3DCG hat geschrieben:To www or not to www .

Do you see the Apple(ähm different)?
https://mit-oder-ohne.de
www.mit-oder-ohne.de

3DCG hat geschrieben:tuen crawler / spider die domains eher mit www oder ohne www abspidern. D.h wenn ich einen crawler / spider baue sollte der nur domain.tld oder www.domain.tld besuchen (oder beides)?

beides.... eben weil es eben unterschiedliche URLs sind... das eine ist die domain selber und das andere eine subdomain.... auch wenn sie meistens den gleichen Inhalt anzeigen muss dies nicht immer so sein...

aus erfahrung sag ich, nimm die mit "www"... ohne "www" ist ganz oft nicht erreichbar... schau dir selbst das "handelsregister.de" an ...

besser wär natürlich erstmal ohne www, checken und falls es nicht geht mit www und das dann vermerken...

vipa hat geschrieben:besser wär natürlich erstmal ohne www, checken und falls es nicht geht mit www und das dann vermerken...

axo... und wenn die gefundenen webseiten dann unterschiedlich sind? wie gesagt, es sind 2 unterschiedliche adressen, können also auch unterschiedlichen Inhalt haben....

promillebereich... also für die normalen anwendungszwecke irrelevant.

methusalem hat geschrieben:Um Dich vollends in Verzweiflung zu stürzen: Was machst Du denn mit den gar nicht mal so unüblichen Subdomains?

spidern - aber die Listen die ich habe enthalten meist nur die Domain (also keine Info über subdomains www. oder my. oder wasauchimmer.)

Es geht mir um den initialen seed


.