seiten im index trotz disallow in robots.txt

Beitrag von **chrizz** » 19.01.2007, 08:07

mojnmojn...
hat jemand ne idee, wie es sein kann das seiten bei google im index landen, obwohl der ganze ordner in der robots.txt ausgeschlossen ist?
es handelt sich dabei um nen wordpress blog. wollte erstmal live testen und probieren und dann die sache nach und nach in die website integrieren. jetzt seh ich aber grad, dass es schon ein paar seiten in den index geschafft haben...eigentlich sollten die aber erstmal aussen vor bleiben...kann mir jemand sagen, was da schief gelaufen ist, damit ich dann wneigstens beim nächsten mal den fehler nicht mehr mach?
thx in adv.

von **Anzeige von ABAKUS** »

Beitrag von **Anonymous** » 19.01.2007, 10:01

wie stehen sie drin? nur als url ohne snippet, und nur bei der site: Abfrage?

das wäre ganz normal, das bedeutet, dass google die Seiten aus backlinks kennt, aber eben nicht gespidert hat... wenn du willst, dass eine seite bei google garnicht auftaucht muss sie ein noindex in den metas haben...

falls es das nicht ist, bitte die url posten, damit man sich das ansehen kann...

Beitrag von **chrizz** » 19.01.2007, 10:35

das nenn ich prompte antwort...
es steht in der site abfrage wie auch in den normalen serps...
https://www.google.de/search?sourceid=n ... schi+lange
wenn ich das noindex erstmal in den metas packe und dann später raus nehme wäre das aus rein seosicht problemlos, oder? ich will halt nen paar sachen mit dem blog live testen. und da passt mir das gar nicht in den kram, dass da sachen schon im index stehen....zumal die description die google da hat der letzte scheiß is...^^
btw: in den serps (s. Link) an Pos 4/5 uschilange.de

danke für deine hilfe!

von **Anzeige von ABAKUS** »

Beitrag von **Anonymous** » 19.01.2007, 10:58

User-agent: *
Disallow: /admin/

User-agent: *
Disallow: /blog/

User-agent: *
Disallow: /mySQL_logon.inc.php

sollte besser so aussehen:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /admin/
Disallow&#58; /blog/
Disallow&#58; /mySQL_logon.inc.php

der Googlebot hats hin und wieder auch ganz gerne, wenn man ihn mit "Vor"-Namen anspricht... also ein

Code: Alles auswählen

User-agent&#58; Googlebot
Disallow&#58; /admin/
Disallow&#58; /blog/
Disallow&#58; /mySQL_logon.inc.php

achja... das

Disallow: /mySQL_logon.inc.php

würde ich aus der robots.txt ganz rauslassen, da du so einem Angreifer einen möglichen Angriffspunkt lieferst....

die seiten die jetzt drin sind kannste duch ein noindex in den metas wieder rausbekommen, und wenn alles ok ist setztte es wieder auf index.... darfst nur nicht das removal tool benutzen, denn das blockt direkt für 180 Tage, egal ob du die site wieder auf index setzt oder nicht...

Beitrag von **chrizz** » 19.01.2007, 11:05

cool. wunderbar....vielen dank für die tips. werd das dann asap umsetzen...
werd die logon noch aus der robots.txt schmeißen, bzw. woanders ablegen...über die htaccess ist sie zwar geschützt, aber du hast recht....wenn man nicht mal von der existenz weiß, dann macht es die sache wohl noch etwas schwerer ranzukommen...

schönes wochenedne!