Blockierte URL, warum?

[Punktesammler]

Hallo,

und zwar kommt mir etwas bei Adsense komisch vor. Unter Website-Diagnose wird meine Hauptseite https://www.geld-und-welt.de/ als Blockierte URL ausgegeben und der Grund dafür sei "nicht gefunden".

Weitere Meldungen wie:

? p= 505&preview= true Nicht gefunden 08.11.2010
? p= 509&preview= true Nicht gefunden 08.11.2010
? p= 516&preview= true Nicht gefunden 05.11.2010

kann ich auch nicht recht interpretieren, aber am meisten stört es mich zwecks meiner Domain. Diese ist ja nun auch durchgängig zu erreichen gewesen meiner Meinung nach.

Vielleicht habt ihr eine Idee was das sein kann und wie ich es berichtigen kann?

robots.txt:

Code: Alles auswählen

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /


Sitemap: http://www.geld-und-welt.de/sitemap.xml

[Synonym]

Also da würde ich mir ehrlich gesagt keine Gedanken machen. Ist zwar nicht schön, aber was soll es. Wenn die Seite online ist weiß der Geier, was Google stört.

Ich habe da Einträge wie:

http:/ / webcache. googleusercontent. com/ search? q= cache:bBkR0NdFhi8J:www. domain. de/ page/ 1643. html+Berlin+Mitte+Ferienwohnung+2+Einzelbetten&cd= 7&hl= de&ct= clnk&gl= de

Google-Cache nicht gefunden ?!

oder
http:/ / www. domain. de/ FirefoxHTML%5CShell%5COpen%5CCommand
Was zum Geier... ?!

Also, ich würde das einfach ignorieren.


Wobei... diese ?p=123 sind ja auch logisch. Das sind die Vorschauen von Wordpress. z.B: https://www.geld-und-welt.de/?p=509 Das Post ist nun aktiv und wird weitergeleitet. https://www.geld-und-welt.de/?p=999 gibt es aber nicht und erzeugt auch einen "nicht gefunden".

Wenn Du nun die Voransicht nutzt, dann werden die Ads ja schon geladen. Der Bot kommt sofort und stellt fest, dass die Seite nicht erreichbar ist, da nicht bei WP angemeldet.

Passt ja auch zu der "p= 505". Am 8.11. nicht gefunden und Du hast es am 8.11. freigegeben. Da war dann eben eine Vorschau dazwischen

[Punktesammler]

Hmm meinst du wirklich nicht, schließlich handelt es sich bei mir ja nun um die Haupt-Url, deswegen bin ich da ja auch so stuzig geworden.

Vielen Dank für die Erklärung mit der Vorschau der Beiträge, das ist sehr einleuchtend und wie du bereits schon sagst auch logisch

Hab mich erst kürzlich mit der robots.txt beschäftigt und so genau bin ich mit der Datei noch nicht auf einen nenner gekommen. Ich habe versucht diese jetzt so zu schreiben, dass AdSense zugriff hat und auch alles andere bis auf nervige Dienste, bzw. Ordner in denen die Bots nichts zu suchen haben.

Kurz, die Seitesoll für jeden Bot sichtbar sein, damit keine Einschränkungen in den Suchergebnissen die Folge sind, ist das alles denn da so richtig?

[Synonym]

wegen der robots.txt
Die ist für den oben genannten Fehler nicht verantwortlich. Du sagtest ja "Nicht gefunden". Sonst wäre die Meldung "durch robots.txt gesperrt".

Ob die richtig ist, keine Ahnung, bin mir da auch nie so sicher. Die kannst Du aber in den WMT testen lassen. Google meldet Dir dann, worauf er zugreifen kann und worauf nicht.

WMT -> Website-Konfiguration -> Crawler Zugriff -> und dann unten "URLs: Geben Sie die URLs und User-Agents für den Test an. "

[Punktesammler]

Ahh ok,

hab jetzt mal geschaut ob alles funktioniert so wie du es beschrieben hast.
Scheint auch alles zu funktionieren. Dann werd ich das ganz einfach mal
so belassen und einfach ignorieren.

Vielen lieben Dank für die Hilfe und einen schönen Tag wünsche ich noch.