Gsite Crawler?

Beitrag von **Seokratie** » 16.10.2007, 00:22

Huhu!
Ich fang gerade erst mit dem Crawlen an. Ist der Gsite Crawler dafür in Ordnung? Der rattert grad vor sich hin mit 16000 Einträgen... nein, kein Linkkatalog ^^. Damit kann ich doch den doppelten Content rauswerfen ohne eine So-und-So Umleitung zu machen, oder?

Zumindest kratzt sich Google daran nicht mehr, hab ich Recht?

?

Ich sollte mich Depronoobis nennen...

von **Anzeige von ABAKUS** »

Beitrag von **Seokratie** » 16.10.2007, 00:32

Lustig, jetzt ist er schon bei 36000...

Meeehr, ich will meeehr!
P.S: Ein anderer Crawler hat heute 7 erstellt.

Beitrag von **catcat** » 16.10.2007, 08:17

Hehe.

Lass mich raten: Du hast ne php-Site und er crawlt Dir alle Kombinationen durch.
(Bewertungen, Suche, Reviews,...)

Du kannst dem gSite-Tool schon von vorneherein sagen, welche Parameter er einfach weglassen soll. Z.B. keine URL erfassen, die sowas enthalten: "&sitesearch=". Musst einfach gucken, was sinnvoll ist und was nicht und dann ausschliessen vom crawling.

von **Anzeige von ABAKUS** »

Beitrag von **Gretus** » 16.10.2007, 08:24

Hallo,

Du kannst ja bestimmte Dateien usw. für das Crawlen ausschließen. Bein mir klappt GSite Crawler immer recht gut...

Grüße

Gretus

Beitrag von **Seokratie** » 16.10.2007, 09:36

Also meine bisherige Sitemaps besteht aus statischen Seiten und dann einer /forum/ Seite.
Crawl der alte Google dann keine Unterseiten des Forums?

Beitrag von **MikeK** » 16.10.2007, 22:16

Deprofundis hat geschrieben:Damit kann ich doch den doppelten Content rauswerfen ohne eine So-und-So Umleitung zu machen, oder?
Zumindest kratzt sich Google daran nicht mehr, hab ich Recht?

Wie willst Du mit dem GSite Crawler DC rauswerfen? Eigentlich alles was der findet, kann auch Google finden. Was Du machen kannst, ist vor der Erzeugung der Sitemap - Datei die nicht gewünschte URLs zu entfernen (oder direkt das Crawlen zu unterbinden - wie schon geschrieben).

Diese Sitemap ist eine Hilfe, die Google verwenden !kann! um vielleicht Seiten zu finden, die sie sonst nicht indizieren würden. ABER: Wenn Google beim Crawlen DC entdeckt, gehen Sie nicht hin und sagen: "Ach, der liebe Webmaster hat die URL in der Sitemap gar nicht mit angegeben. Dann ignorieren wir die mal ..." Aussperren kannst Du mit der robots.txt !

Ein CMS was DC erzeugt, kannst Du nicht mit einer Sitemap retten!

Ciao,
Mike