Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

www oder ohne www abspidern / crawlen

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
3DCG
PostRank 7
PostRank 7
Beiträge: 550
Registriert: 22.01.2006, 20:11
Wohnort: FFM

Beitrag von 3DCG » 13.02.2010, 18:58

Hallo,

tuen crawler / spider die domains eher mit www oder ohne www abspidern. D.h wenn ich einen crawler / spider baue sollte der nur domain.tld oder www.domain.tld besuchen (oder beides)?


DANKE


.

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


methusalem
PostRank 4
PostRank 4
Beiträge: 139
Registriert: 26.01.2009, 19:52
Wohnort: Hamburg

Beitrag von methusalem » 13.02.2010, 19:44

Mach doch vorher ne Abfrage über die Yahoo-API oder sowas und schau, wie das erste BL-Ergebnis indiziert ist. Gibt bestimmt aber auch einfachere Wege, wenn man das unbedingt unterscheiden muss.

3DCG
PostRank 7
PostRank 7
Beiträge: 550
Registriert: 22.01.2006, 20:11
Wohnort: FFM

Beitrag von 3DCG » 13.02.2010, 20:34

Nun ich hab schon Domains erlebt da kamen unterschiedliche "Seite" je nachdem ob man www.domain.tld oder domain.tld aufgerufen hat.

.

methusalem
PostRank 4
PostRank 4
Beiträge: 139
Registriert: 26.01.2009, 19:52
Wohnort: Hamburg

Beitrag von methusalem » 13.02.2010, 20:39

ist halt die Frage, ob Dein Spider 100% zutreffende Ergebnisse braucht und somit jeden Sonderfall berücksichtigen muss. Oft kann man ja ne gewisse Fehlerquote tolerieren, solange sie nicht systematisch ist. Z.B. musst Du ja auch irgendeinen timeout-Wert festlegen, ab dem der Crawler die Biege macht usw...

3DCG
PostRank 7
PostRank 7
Beiträge: 550
Registriert: 22.01.2006, 20:11
Wohnort: FFM

Beitrag von 3DCG » 13.02.2010, 21:09

Okay - anders gefragt (leider funktioniert die Suche hier da irgenwie nicht) was ist Best Practice: mit www oder ohne www

Oder mit Shakespeare: To www or not to www :wink:


.

methusalem
PostRank 4
PostRank 4
Beiträge: 139
Registriert: 26.01.2009, 19:52
Wohnort: Hamburg

Beitrag von methusalem » 13.02.2010, 21:12

Um Dich vollends in Verzweiflung zu stürzen: Was machst Du denn mit den gar nicht mal so unüblichen Subdomains?

800XE
PostRank 10
PostRank 10
Beiträge: 5223
Registriert: 02.12.2004, 03:03

Beitrag von 800XE » 14.02.2010, 03:38

3DCG hat geschrieben:Okay - anders gefragt (leider funktioniert die Suche hier da irgenwie nicht) was ist Best Practice: mit www oder ohne www

Oder mit Shakespeare: To www or not to www :wink: .
look like any link you found

oder uf Westerwällisch
spider das was du gefunden hast
den das was als Link gefunden wurde dürfte auch existieren

oder was willst du SPieder?
Andy-hat-keinen-Kaffee-mehr.de?
3DCG hat geschrieben:To www or not to www :wink: .
Do you see the Apple(ähm different)?
https://mit-oder-ohne.de
www.mit-oder-ohne.de

Anonymous

Beitrag von Anonymous » 14.02.2010, 03:48

3DCG hat geschrieben:tuen crawler / spider die domains eher mit www oder ohne www abspidern. D.h wenn ich einen crawler / spider baue sollte der nur domain.tld oder www.domain.tld besuchen (oder beides)?
beides.... eben weil es eben unterschiedliche URLs sind... das eine ist die domain selber und das andere eine subdomain.... auch wenn sie meistens den gleichen Inhalt anzeigen muss dies nicht immer so sein...

vipa
PostRank 4
PostRank 4
Beiträge: 165
Registriert: 08.01.2010, 13:32

Beitrag von vipa » 14.02.2010, 03:51

aus erfahrung sag ich, nimm die mit "www"... ohne "www" ist ganz oft nicht erreichbar... schau dir selbst das "handelsregister.de" an ...

besser wär natürlich erstmal ohne www, checken und falls es nicht geht mit www und das dann vermerken...

Anonymous

Beitrag von Anonymous » 14.02.2010, 05:51

vipa hat geschrieben:besser wär natürlich erstmal ohne www, checken und falls es nicht geht mit www und das dann vermerken...
axo... und wenn die gefundenen webseiten dann unterschiedlich sind? wie gesagt, es sind 2 unterschiedliche adressen, können also auch unterschiedlichen Inhalt haben.... :-?

vipa
PostRank 4
PostRank 4
Beiträge: 165
Registriert: 08.01.2010, 13:32

Beitrag von vipa » 14.02.2010, 06:19

promillebereich... also für die normalen anwendungszwecke irrelevant.

3DCG
PostRank 7
PostRank 7
Beiträge: 550
Registriert: 22.01.2006, 20:11
Wohnort: FFM

Beitrag von 3DCG » 14.02.2010, 10:02

methusalem hat geschrieben:Um Dich vollends in Verzweiflung zu stürzen: Was machst Du denn mit den gar nicht mal so unüblichen Subdomains?
spidern - aber die Listen die ich habe enthalten meist nur die Domain (also keine Info über subdomains www. oder my. oder wasauchimmer.)

Es geht mir um den initialen seed


.

Antworten