Crawler-Ferhlerbericht

Hallo zusammen,
ich bekomme seit einiger Zeit (per Startseite: Aufgrund von Anzeigen-Crawler-Fehlern kann Ihnen Umsatz entgehen) das Seiten nicht gecrawled werden.
Das Problem ist das die Seiten die Adsense versucht zu crawlen die URL's umgeschrieben sind.
Also aus xxx.html?eins=1 wird xxx.html%3Feins%3D1 und die letztere ist natürlich 404.

Auf meiner Seite kann ich ausschließen das ich diese zweite codierte variante im Einsatz habe.
Ich vermute das Adsense sich diesen Links von Facebook durch likes bzw coments holt.
Bei den WMT sind diese Seiten NICHT aufgeführt.

Bis jetzt war es mir egal aber die Zahl der Seiten ist weit über tausend.
Hat einer von euch das selbe Problem und wie habt ihr das gelöst?
Meine erste Idee war mit rewrite aber dann könnte es zu duplicate Content führen. 301 wäre das sauberste aber hat da einer eine Lösung für?

Oder weiß einer woher Adsens die codierte URL's bekommt?

Beste Grüße
Bernd

https://www.albionresearch.com/misc/urlencode.php

It is normally used when the browser sends form data to a web server.

Es könnte irgendein Nutzer die Seite so aufrufen bzw. dann js in einem Webbrowser das so an Google übermitteln. Da bin ich aber kein Spezialist. Das solltest Du einmal genauer anschauen.
Dringlichkeit: vermutlich niedrig, da Adsense womöglich auch die korrekte Schreibweise kennt. Oder erscheinen die falschen URLs in einer CSE (custom search engine)? Solange Du ausschliessen kannst, dass Menschen da drauf kommen, ist es ok...

Ich vermute das Adsense sich diesen Links von Facebook durch likes bzw coments holt.

Die FB-Likes erzeugen viel kompliziertere Muster, aber da habe ich Dir eine 301-Lösung, die ich Dir per PN zuschicke. Wir haben das mal hier im Forum besprochen.