Gesperrte Seiten im Index

Beitrag von **Gretus** » 19.06.2007, 22:09

Hallo,

seit Kurzem sind bei meiner Seite ganz hinten in der Siteabfrage auf einmal alle Einzelseiten `ohne Index drum herum´ gelistet. Die Seiten werden in der robots.txt durch Disallow: /beispiel.html gesperrt. Hat auch immer gut geklappt. Jetzt sind sie auf einmal im Index.

Ich habe kürzlich unten auf der Seite eine `Sofortklickfunktion

´ eingebaut. Könnte damit zusammen hängen, obwohl keine Seite so verlinkt ist. Laut Analytics sind die Seiten auch gesperrt. Soll ich einfach abwarten?

Grüße

Gretus

von **Anzeige von ABAKUS** »

Beitrag von **Mamboo** » 19.06.2007, 22:28

Woran es liegt, kann ich dir auf Anhieb nicht sagen, aber wenn es sich nicht um mehrere Seiten handelt, kannst du sie auch unter googie webmastertools entfernen lassen. Das klappt gut. Zusätzlich kannst du in die Meta-Angaben noindex einbauen

Beitrag von **Gretus** » 19.06.2007, 23:39

Hallo,

vielen Dank. Ich werde noch mal einige Tage warten, und dann die Seiten zum Sperren einreichen. Ich habe nur immer Bammel, dass dann alle Seiten verschwinden...

Grüße

Gretus

von **Anzeige von ABAKUS** »

Beitrag von **Mamboo** » 20.06.2007, 00:07

Unbedinngt beachten:

Wenn du unter Googie Webmastertools eine bestimmte Seite sperren lassen willst, achte darauf, das du kein Verzeichnis bzw. unterverzeichnis sperren lässt, sonnst sind alle Seiten in diesem Verzeichnis für die nächsten 6 Monate raus aus dem Index...

Ist mir mal passiert und das ist fast Tödlich

Beitrag von **revilo** » 20.06.2007, 01:45

Hallo Gretus!

Gretus hat geschrieben:
Ich habe kürzlich unten auf der Seite eine `Sofortklickfunktion ´ eingebaut. Könnte damit zusammen hängen, obwohl keine Seite so verlinkt ist. Laut Analytics sind die Seiten auch gesperrt. Soll ich einfach abwarten?

Die Sache mit "...obwohl keine Seite so verlinkt ist." hab´ ich nicht verstanden. Wenn Du die Links der "MiniSiteMap" auf der index.html mit nofollow versiehst, sollte der Bot die Seiten nicht beachten. Mit noindex auf allen Einzelseiten, sollte dann auch tatsächlich keine (mehr) im SumaIndex landen. Sollten sich die Seiten auch noch gegenseitig verlinken, wäre das generelle nofollow für alle Files sicherheitshalber auch sinnvoll. Machst Du die einzelnen Seiten auch über die Navigationshilfe zugänglich? Ob der Redirect per 410er zielführend ist, und die Deindexierung beschleunigt, kann ich Dir nicht sagen.

LG O

PS Sollte ich da etwas falsch verstanden haben, sorry.

Beitrag von **seonewbie** » 20.06.2007, 02:54

Hallo,

es ist leider so das der G bot sich seit ca. einer Woche
nicht immer an die Ausschlüsse der robot.txt hält. Die
Konkurenz von yahoo übrigens auch.

Mehr dazu gibt es hier:

https://www.spider-trap.de/forum/Allgemeines-1:0.html

Man soll die bots mit Namen Ansprechen nach folgendem
Schema:

User-agent: msnbot
Crawl-Delay: 20
Disallow: /mausefalle

User-agent: Slurp
Crawl-Delay: 20
Disallow: /mausefalle

User-agent: googlebot
Disallow: /mausefalle

User-agent: *
Disallow: /mausefalle

Mehr knpow how gibts hier:

https://www.spider-trap.de/forum/Allgemeines-1:0.html

Gruß

Micha

Beitrag von **Gretus** » 20.06.2007, 05:39

Hallo,

muss ich für jeden Bot noch mal alle Seiten auflisten, oder kann man die drei Bots
auch unter User-agent nacheinander oder untereinander auflisten? Was ist besser?

Grüße

Gretus

Beitrag von **Gretus** » 20.06.2007, 10:14

Hallo,

also so würde es gehen?

User-agent: googlebot
User-agent: msnbot
User-agent: Slurp
User-agent: *
Disallow: /beispiel.html
Disallow: /beispiel1.html
Disallow: /beispiel2.html
Disallow: /beispiel3.html
.
.
.

Grüße

Gretus

Beitrag von **WilliWusel** » 20.06.2007, 10:36

=> https://de.selfhtml.org/diverses/robots.htm

Beitrag von **Gretus** » 20.06.2007, 10:49

Hallo,

alles klar...

Grüße

Gretus

Beitrag von **revilo** » 20.06.2007, 11:08

Hallo,

ich versuch´s noch einmal.

1. Seiten, die Du per korrekter robots.txt von der Indexierung ausgeschlossen hast, befinden sich, aus welchem Grund auch immer, im Index.

2. Du möchtest die Seiten entfernen und verhindern, dass sie auch in Zukunft nicht aufgenommen werden.

3. Mit dem 410er in der .htaccess signalisierst Du, dass die Seiten nicht (mehr) für den Bot bestimmt sind.

4. Mit den rel="nofollow" Links auf der index.html verhinderst Du, dass sie zukünftig überhaupt gefunden werden.

5. Mit dem noindex auf jeder gewünscht nicht aufzunehmenden Seite in den Metas, bleiben diese Seiten auf jeden Fall draussen.

6. Wenn sich die Einzelseiten gegenseitig verlinken und die Linkverfolgung auf diesen Seiten keine Bedeutung für den Bot haben soll, kann das noindex in den Metas um das nofollow erweitert werden.

LG O

Beitrag von **Gretus** » 20.06.2007, 11:39

Hallo,

jepp, soweit verstanden. Ich versuche jetzt erst noch mal, den Googlebot in der robots.txt direkt anzusprechen. Mal schauen, was passiert. Werde berichten...

User-agent: googlebot
User-agent: msnbot
User-agent: Slurp

Disallow: /beispiel.html
Disallow: /beispiel.html
Disallow: /beispiel.html

Ist die Leezeile eigentlich korrekt?
Grüße

Gretus

Beitrag von **WilliWusel** » 20.06.2007, 12:09

Gretus hat geschrieben:Ist die Leezeile eigentlich korrekt?

Nein! => https://de.selfhtml.org/diverses/robots.htm

Die doppelte Wiederholung übrigens auch nicht...

Beitrag von **JR-EWING** » 20.06.2007, 12:24

Ich würde es ohne Leerzeile machen - so ist es passend.

User-agent: googlebot
User-agent: msnbot
User-agent: Slurp
Disallow: /beispiel.html

Übrigends bevor wieder Fragen kommen - googlebot wird in der Spider Trap nicht ausgesperrt weil ein RDNS Check auf Google drin ist