ABAKUS

Unbedinngt beachten:

Wenn du unter Googie Webmastertools eine bestimmte Seite sperren lassen willst, achte darauf, das du kein Verzeichnis bzw. unterverzeichnis sperren lässt, sonnst sind alle Seiten in diesem Verzeichnis für die nächsten 6 Monate raus aus dem Index...

Ist mir mal passiert und das ist fast Tödlich

Hallo Gretus!

Gretus hat geschrieben:
Ich habe kürzlich unten auf der Seite eine `Sofortklickfunktion ´ eingebaut. Könnte damit zusammen hängen, obwohl keine Seite so verlinkt ist. Laut Analytics sind die Seiten auch gesperrt. Soll ich einfach abwarten?

Die Sache mit "...obwohl keine Seite so verlinkt ist." hab´ ich nicht verstanden. Wenn Du die Links der "MiniSiteMap" auf der index.html mit nofollow versiehst, sollte der Bot die Seiten nicht beachten. Mit noindex auf allen Einzelseiten, sollte dann auch tatsächlich keine (mehr) im SumaIndex landen. Sollten sich die Seiten auch noch gegenseitig verlinken, wäre das generelle nofollow für alle Files sicherheitshalber auch sinnvoll. Machst Du die einzelnen Seiten auch über die Navigationshilfe zugänglich? Ob der Redirect per 410er zielführend ist, und die Deindexierung beschleunigt, kann ich Dir nicht sagen.

LG O

PS Sollte ich da etwas falsch verstanden haben, sorry.

Hallo,

es ist leider so das der G bot sich seit ca. einer Woche
nicht immer an die Ausschlüsse der robot.txt hält. Die
Konkurenz von yahoo übrigens auch.

Mehr dazu gibt es hier:

https://www.spider-trap.de/forum/Allgemeines-1:0.html

Man soll die bots mit Namen Ansprechen nach folgendem
Schema:

User-agent: msnbot
Crawl-Delay: 20
Disallow: /mausefalle

User-agent: Slurp
Crawl-Delay: 20
Disallow: /mausefalle

User-agent: googlebot
Disallow: /mausefalle

User-agent: *
Disallow: /mausefalle

Mehr knpow how gibts hier:

https://www.spider-trap.de/forum/Allgemeines-1:0.html

Gruß

Micha

Hallo,

muss ich für jeden Bot noch mal alle Seiten auflisten, oder kann man die drei Bots
auch unter User-agent nacheinander oder untereinander auflisten? Was ist besser?

Grüße

Gretus

Hallo,

also so würde es gehen?

User-agent: googlebot
User-agent: msnbot
User-agent: Slurp
User-agent: *
Disallow: /beispiel.html
Disallow: /beispiel1.html
Disallow: /beispiel2.html
Disallow: /beispiel3.html
.
.
.

Grüße

Gretus

=> https://de.selfhtml.org/diverses/robots.htm

Hallo,

alles klar...

Grüße

Gretus

Hallo,

ich versuch´s noch einmal.

1. Seiten, die Du per korrekter robots.txt von der Indexierung ausgeschlossen hast, befinden sich, aus welchem Grund auch immer, im Index.

2. Du möchtest die Seiten entfernen und verhindern, dass sie auch in Zukunft nicht aufgenommen werden.

3. Mit dem 410er in der .htaccess signalisierst Du, dass die Seiten nicht (mehr) für den Bot bestimmt sind.

4. Mit den rel="nofollow" Links auf der index.html verhinderst Du, dass sie zukünftig überhaupt gefunden werden.

5. Mit dem noindex auf jeder gewünscht nicht aufzunehmenden Seite in den Metas, bleiben diese Seiten auf jeden Fall draussen.

6. Wenn sich die Einzelseiten gegenseitig verlinken und die Linkverfolgung auf diesen Seiten keine Bedeutung für den Bot haben soll, kann das noindex in den Metas um das nofollow erweitert werden.

LG O

Hallo,

jepp, soweit verstanden. Ich versuche jetzt erst noch mal, den Googlebot in der robots.txt direkt anzusprechen. Mal schauen, was passiert. Werde berichten...

User-agent: googlebot
User-agent: msnbot
User-agent: Slurp

Disallow: /beispiel.html
Disallow: /beispiel.html
Disallow: /beispiel.html

Ist die Leezeile eigentlich korrekt?
Grüße

Gretus

Gretus hat geschrieben:Ist die Leezeile eigentlich korrekt?

Nein! => https://de.selfhtml.org/diverses/robots.htm Die doppelte Wiederholung übrigens auch nicht...

Ich würde es ohne Leerzeile machen - so ist es passend.

User-agent: googlebot
User-agent: msnbot
User-agent: Slurp
Disallow: /beispiel.html

Übrigends bevor wieder Fragen kommen - googlebot wird in der Spider Trap nicht ausgesperrt weil ein RDNS Check auf Google drin ist