Webmaster Tools - Falsche URLs gespidert

Beitrag von **marc77** » 16.07.2007, 14:59

Hallo,

ich hab in meinen webmaster tools bei "nicht gefundende Webseiten" einige 404er gefunden, welche so aussehen:

Arbeitsagentur/contact?lang=
Arbeitsagentur/agb?lang=
Arbeitsagentur/searchbox?lang=
Arbeitsagentur/imprint?lang=

in meinen kompletten code nutze ich keinen "imprint?lang" code . ich verstehe einfach nciht, wo der spider diese Informationen her holt. Gibt es eine Möglichkeit wo ich sehen kann, an was für einem Punkt der Spider diese falschen URLs findet?

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **marc77** » 17.07.2007, 11:36

gibts denn keine Möglichkeit rauszufinden wo der Spider die falschen URLs findet?

Ein Programm von aussen kann doch nicht fehlerhafte URLs erzeugen oder? Da der Crawler von google ja auf meiner Seite die falschen URLs gefunden hat, gehe ich davon aus, dass irgendein code etc dies ausgelöst hat. Allerdings hab ich in meinem Quellcode definitiv keine solcher Variablen.

bin echt mit den nerven am Ende..täglich spidert der Crawler mehr und mehr falsche URLs, im moment ca. 500 die alle einen 404er auslösen und ich finds einfach nicht! hab mich schon mit xenu selbst gespidert und die logfiles alle durch..ohne Erfolg

..bin ratlos

Beitrag von **Reddog** » 17.07.2007, 11:42

ist bei ebenfalls der fall. weiß auch nicht, wie google auf einige urls kommt.
aktuell hat google bei mir über 100 nicht existente urls versucht zu spidern, was nun 404er sind

von **Anzeige von ABAKUS** »

Beitrag von **Fantastixxx** » 17.07.2007, 11:43

Benutzt du das Websitebaker CMS?

Beitrag von **Reddog** » 17.07.2007, 11:45

ich nutze typo3

Beitrag von **Fantastixxx** » 17.07.2007, 11:48

Ansonsten geh halt in dein CMS via Macromedia oder Sonstiges und da steht irgendwo was, was dir automatisch ein "?lang=" reinsetzt. Müssts halt bissal rumsuchen und den kleinen Codeschnipsel einfach löschen.

Beitrag von **marc77** » 17.07.2007, 11:55

ich nutze kein cms und habe bereits mit einem tool alle meine Files per dokumentsuche nach dieses codeschnipsel durchsucht. in all meinen Files gibt es diese codes nicht. es ist für mich einfach unverständlich wie das der spider macht...

kann es sein das jemand per 301 auf mich verlinkt und google deswegen irgendwas anzuhängen versucht?

Beitrag von **Unifex** » 17.07.2007, 11:57

marc77 hat geschrieben: in meinen kompletten code nutze ich keinen "imprint?lang" code . ich verstehe einfach nciht, wo der spider diese Informationen her holt. Gibt es eine Möglichkeit wo ich sehen kann, an was für einem Punkt der Spider diese falschen URLs findet?

Ich hatte bei einer Domain auch schon mal das Problem. Schuld daran war der Einsatz Der google Sitmap bei einem Shop System.

Ich weiß jetzt nicht was du einsetzt aber wenn alle falschen URLs ein Fragezeichen in der URL haben, würde ich den Zugriff dafür in der Robots.txt sperren.
Setzt du keine Sitmaps ein, dann besorg dir das Programm gsitecrawler und lass das über Deine Webseite laufen. Da kannst du dann sehen, ob irgendwo was falsch läuft.

Beitrag von **Fantastixxx** » 17.07.2007, 11:57

Dann ist bei deinem Server direkt ne Umleitung drinnen. Log dich ein und schau nach.

Beitrag von **marc77** » 17.07.2007, 12:01

@unifex:

ich nutze keine sitemap, da meine systemstruktur sehr gut verlinkt ist. ich weiss nicht wie ich per robots.txt sperren kann, da mittlerweile 400 Unterseiten so enden wie oben beschrieben. Habe meine Seite bereits per xenu gegrawlt und dieser findet diese URLs nicht..wobei xenu seit 8 stunden läuft..sind ca. 30 000 Seiten im index

ich hol mir mal gsitecrawler

Beitrag von **Unifex** » 17.07.2007, 13:14

Einfach folgendes in die robots.txt eintragen:

User-agent: *
Disallow: /*?

Aber aufpassen und wie gesagt: keine Url mit Fragezeichen wird mehr gecrawlt ( wenigstens von googlebot)

Beitrag von **GreenHorn** » 17.07.2007, 13:27

Du arbeitest aber bestimmt mit php und einer Datenbank? Hast ggf. einen Link zum Wechsel in eine andere Sprache im Quellencode...

Beitrag von **marc77** » 17.07.2007, 15:15

@unfix: ok danke, falls ich den Absprungpunkt nicht finden sollte, werde ich es wohl per robots.txt lösen

@greenhorn: richtig, ich arbeite mit php und sql DB und nutze auch mehrere Sprachen, jedoch ist in meiner source definitiv keine dieser oben angegebenen Aufrufe zu finden. Hab jedes einzelne File nach diesen Statements durchforsten lassen..negativ!