Artikel trotz Disallow in robots.txt in google Google News

[datensurfer]

ich habe eine Seite wo es ein "News" Bereich gibt, NUR diese Artikel sollen in Google news aufgenommen werden.

in der extra erstellten google-news-sitemap sind auch nur diese enthalten.

Seit ein paar Monaten tauchen allerdings auch die Artikel aus einer anderen kategorie, welche auch expliziert in der robots.txt per Disallow markiert sind in google news auf, was ja auch nicht sein darf (da ratgeber seiten).

Irgendjemand eine Idee woran das liegen kann?

Link zur seite schicke ich gerne per pm auf Anfrage (will hier ja nicht spammen).

Bsp. für robots.txt eintrag (steht ganz oben) für google-news-bot verbot:

User-agent: Googlebot-News
Disallow: /beauty-und-style

Schon mal DANKE für eure hoffentlich hilfreichen Tipps!

[MonikaTS]

haben diese Artikel /beauty-und-style auch in deren URL

(ja doofe Frage ich weiß, aber sie fiel mir eben ein )

[luzie]

User-agent: Googlebot-News
Disallow: /beauty-und-style

Ich glaube nicht, dass das reicht, du läßt andere Bots dadurch ja weiterhin zu, auch Googlebot selbst - und von dort werden die Listungen im Index wohl stammen.

[SloMo]

Sollte aber eigentlich schon reichen, sonst macht folgende Anleitung von Google keinen Sinn: https://support.google.com/webmasters/a ... 1943?hl=de

[luzie]

Hm ... auch an Hand dieser Hilfe-Seite kann man nicht wirklich erkennen, ob es ausreicht allein den Newsbot auszusperren.

[SloMo]

Ist auch ein Doku-Wirrwarr. Also hier steht

Falls Sie Ihre Website lieber nicht in Google News aufnehmen lassen, aber in der Google Websuche bleiben möchten, folgt Google News einem Robots-Eintrag für den Googlebot für Nachrichten, falls dieser restriktiver als der Robots-Eintrag für den Googlebot ist. Anders gesagt:

• Falls Sie den Zugriff für den Googlebot für Nachrichten blockieren, indexieren wir Ihre Website nicht in Google News.
• Falls Sie den Zugriff für den Googlebot blockieren, indexieren wir Ihre Website weder in Google News noch in der Google Websuche.

Es geht dort konkret ums Indizieren, nicht nur ums Crawlen.

Ich würde mal in den Google-Webmastertools schauen, da kann man die robots.txt gegen konkrete URLs testen. Außerdem Google-Support einschalten.

[datensurfer]

haben diese Artikel /beauty-und-style auch in deren URL

(ja doofe Frage ich weiß, aber sie fiel mir eben ein )

ja haben sie!
Die URI besteht auch nur daraus, danach artikel-name, auch andere uris das selbe Problem.

Als Ergänzung "das hat mal funktinoniert", erst seit ca. März besteht das Problem .. google ignoriert die robots.txt bzw. den google-news-bot-eintrack??

User-agent: Googlebot-News
Disallow: /beauty-und-style

Ich glaube nicht, dass das reicht, du läßt andere Bots dadurch ja weiterhin zu, auch Googlebot selbst - und von dort werden die Listungen im Index wohl stammen.

andere dürfen und sollen da auch hin. laut google documentation ist das die richtige Vorgehensweise, was auch mal funktionierte.

Sollte aber eigentlich schon reichen, sonst macht folgende Anleitung von Google keinen Sinn: https://support.google.com/webmasters/a ... 1943?hl=de

Meine Meinung, leider tauchen die Artikel jetzt aber seit gefühlt märz auf google news auf, was nicht sein darf (am quellcode oder sonst wie wurde nichts geändert (um das vorweg zu nehmen).

Ist auch ein Doku-Wirrwarr. Also hier steht

Falls Sie Ihre Website lieber nicht in Google News aufnehmen lassen, aber in der Google Websuche bleiben möchten, folgt Google News einem Robots-Eintrag für den Googlebot für Nachrichten, falls dieser restriktiver als der Robots-Eintrag für den Googlebot ist. Anders gesagt:

• Falls Sie den Zugriff für den Googlebot für Nachrichten blockieren, indexieren wir Ihre Website nicht in Google News.
• Falls Sie den Zugriff für den Googlebot blockieren, indexieren wir Ihre Website weder in Google News noch in der Google Websuche.

Es geht dort konkret ums Indizieren, nicht nur ums Crawlen.

Ich würde mal in den Google-Webmastertools schauen, da kann man die robots.txt gegen konkrete URLs testen. Außerdem Google-Support einschalten.

laut webmastertools ist die robots.txt ok und auch die google-news-sitemap, dort tauchen auch keine links auf die nicht news sind.




Danke für eure zahlreichen Antworten, auch wenn noch keine Lösung dabei war.

Irgendwer ähnliche Probleme oder besser gar eine Lösung zur Hand?

[datensurfer]

Niemand eine Idee?

[imwebsein]

Darf ich Fragen was sich so dran stört? Du hast alles richtig gemacht und Google Listet es trotzdem.. schlecht für dich wird es nicht sein oder? Ich meine dort gelistet zu sein bringt immer Besucher... also wieso so verbittert dagegen angehen? Angst das man aus News rausfliegt? Wohl kaum wenn Google seinen eigenen Auforderungen nicht folgt

[datensurfer]

Darf ich Fragen was sich so dran stört? Du hast alles richtig gemacht und Google Listet es trotzdem.. schlecht für dich wird es nicht sein oder? Ich meine dort gelistet zu sein bringt immer Besucher... also wieso so verbittert dagegen angehen? Angst das man aus News rausfliegt? Wohl kaum wenn Google seinen eigenen Auforderungen nicht folgt

Der Artikel verstößt gegen die Google-News-Richtlinien, weil es kein NewsArtikel ist sondern ein LifeStyle-Rategber (z.b. mode tipps).

Google News team sagt man fliegt wieder aus dem listing von google news raus, wenn man gegen die Richtlinien verstößt.

Genau das ist meine "Angst".

[imwebsein]

Nach deiner oben geschilderten Beschreibung ist dies hier ganz klar nicht dein Verschulden. Ich hätte hier keine Bauchschmerzen, da es ohnehin nicht mehr viel gibt was du noch machen kannst.

[datensurfer]

ok